Arm 搭建一套传感器采集系统(基于docker)

木它 — Thu, 11 Sep 2025 07:28:57 +0000

架构:

数据库: questdb

前端:blazor server

后端:c#控制台(hostserver)

平台运维:portainer

容器管理

# 国外
docker run -d -p 9000:9000 \
  --name portainer \
  --restart=always \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v portainer_data:/data \
  portainer/portainer-ce:alpine-sts
  
# 国内(Arm64)
docker run -d -p 9000:9000 \
  --name portainer \
  --restart=always \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v portainer_data:/data \
  registry.cn-beijing.aliyuncs.com/muta/portainer-ce:alpine-sts-arm64

# 国内(Amd64)
docker run -d -p 9000:9000 \
  --name portainer \
  --restart=always \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v portainer_data:/data \
  registry.cn-beijing.aliyuncs.com/muta/portainer-ce:alpine-sts-amd64

数据库安装

# 国外
docker run -d \
  --name questdb \
  -p 8812:8812 \
  -p 9080:9000 \
  -p 9009:9009 \
  -v questdb_data:/root/.questdb/db \
  questdb/questdb:nightly-rhel
  
# 国内(Arm64)
docker run -d \
  --name questdb \
  -p 8812:8812 \
  -p 9080:9000 \
  -p 9009:9009 \
  -v questdb_data:/root/.questdb/db \
  registry.cn-beijing.aliyuncs.com/muta/questdb:nightly-rhel-arm64

# 国内(Amd64)
docker run -d \
  --name questdb \
  -p 8812:8812 \
  -p 9080:9000 \
  -p 9009:9009 \
  -v questdb_data:/root/.questdb/db \
  registry.cn-beijing.aliyuncs.com/muta/questdb:nightly-rhel-amd64

rabbitmq

version: '3.8'

services:
  mq:
    image: registry.cn-beijing.aliyuncs.com/muta/rabbitmq:management-arm64 
    restart: always 
    volumes:
      - rabbitmq_data:/var/lib/rabbitmq    # 持久化RabbitMQ数据
    ports:
      - "5672:5672"                        # AMQP协议端口，应用程序连接用
      - "15672:15672"                      # 管理后台端口，Web管理界面用
      # 以下端口仅在集群或特殊情况下需要，可选
      # - "25672:25672"                    # 节点间通信端口（集群用）
      # - "4369:4369"                      # Erlang节点发现端口（集群用）
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "3" 

volumes:
  rabbitmq_data:                           # 定义持久化数据卷

采集程序(方案1)

version: '3.8'

services:
  armcollection2025masablazorapp:
    image: registry.cn-beijing.aliyuncs.com/dfzh/armcollection2025masablazorapp:latest
    ports:
      - "20000:8080"
    user: root
    devices:
      - /dev/ttyS3:/dev/ttyS3
    environment: 
      SqlSugar__1__ConnectionString: "host=host.docker.internal;port=8812;username=admin;password=quest;database=qdb;ServerCompatibilityMode=NoTypeLoading;"
    restart: always
    volumes: 
      - /home/orangepi/DataProtection-Keys/:/app/.aspnet/DataProtection-Keys
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "3"

采集程序(方案2)

version: '3.8'

services:
  app:
    image: registry.cn-beijing.aliyuncs.com/dfzh/armcollectblazorapp:latest
    network_mode: "host" 
    environment:  
      Urls: "http://*:20000"
    restart: always 
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "3"
        
  serialport2questdb:
    image: registry.cn-beijing.aliyuncs.com/dfzh/armcollectserialport2questdb:latest
    network_mode: "host" 
    user: root
    devices:
      - /dev/ttyS3:/dev/ttyS3
    environment:  
      ComPortName : "/dev/ttyS3"
      Urls: "http://*:20002" 
    restart: always 
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "3"

version: '3.8'

services:
  app:
    image: registry.cn-beijing.aliyuncs.com/dfzh/staticforcecalibration-blazorserver:arm64
    restart: always 
    volumes:
      - /home/bjgrst/staticforcecalibration_data:/app/App_Data     
      - /home/bjgrst/DefaultSeedsJsonFiles/:/app/DefaultSeedsJsonFiles
      - /dev:/dev
    ports:
      - "8080:8080"      
    user: root
    privileged: true
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "3"

高并发的 IoT 环境中，处理共享的“总配置表”的探讨

木它 — Tue, 18 Feb 2025 13:57:32 +0000

在高并发的 IoT 环境中，处理共享的“总配置表”可能会面临挑战，特别是当多个设备需要实时访问和修改这些配置时。为了有效地管理这种环境，可以考虑以下策略：

1. 分区配置

将“总配置表”按设备或设备组进行分区，从而减少单个配置对象的访问争用。每个设备或设备组拥有自己的配置实例，这样可以减少锁争用，提高并发访问的性能。

2. 读写锁（ReaderWriterLockSlim）

使用 ReaderWriterLockSlim 提供更细粒度的锁控制。它允许多个线程并发读取配置，同时确保只有一个线程能写入配置。这样可以在大多数操作是读取的情况下提高性能。

private readonly ReaderWriterLockSlim _lock = new ReaderWriterLockSlim();

private async Task<SensorHisEntity?> ProcessPerDataAsync(SensorParamData sensorParamData)
{
    SensorHisEntity? result = null;
    _lock.EnterWriteLock();
    try
    {
        if (!_sensorParamConfigDic.TryGetValue(sensorParamData.Id, out SensorParamConfig config))
        {
            return default;
        }

        // 处理逻辑
        result = ProcessConfig(sensorParamData, config);
    }
    finally
    {
        _lock.ExitWriteLock();
    }
    return result;
}

3. 乐观并发控制

使用乐观并发控制策略，例如版本号或时间戳。每次读取配置时，记录当前的版本号或时间戳，在更新时检查配置是否发生了变化。如果配置已被其他线程修改，则重新读取并重试。

4. 缓存与异步更新

利用缓存机制来减少对“总配置表”的直接访问。将配置加载到内存中，并在内存中进行读取和部分计算。在后台异步地将更改写回数据库或持久化存储中。

5. 消息队列

使用消息队列（如 Kafka、RabbitMQ）来分发配置更新事件。每个设备可以订阅相关的配置更新消息，这样可以减少直接对“总配置表”的频繁访问。

6. 分布式配置管理

对于大规模 IoT 部署，使用分布式配置管理工具（如 Consul、Etcd、Zookeeper）来管理配置。这些工具提供了强大的一致性和可用性保证，适合处理复杂的配置管理需求。

7. 数据库优化

在数据库层面进行优化，确保配置表的索引和查询性能。使用专门的数据库方案（如 NoSQL 数据库）来处理高并发的读写操作。

选择适合具体需求的策略，通常需要结合多种方案来达到最佳效果。特别是在 IoT 环境中，设备数量多，数据流量大，系统需要在性能、可扩展性和数据一致性之间找到平衡。

Iot – 岁月细碎点滴快查