EMQX 5.0 亿级连接实战：3步配置实现单节点百万MQTT设备接入
EMQX 5.0 亿级连接实战：3步配置实现单节点百万MQTT设备接入
在物联网技术迅猛发展的今天，海量设备连接已成为行业常态。作为专为物联网设计的通信协议，MQTT凭借其轻量级、低功耗和高效传输特性，已成为连接亿万设备的首选方案。而EMQX作为开源社区中最流行的MQTT消息服务器，其5.0版本在性能上实现了质的飞跃——单节点支持百万级连接，集群可扩展至亿级规模。
本文将聚焦EMQX 5.0在高并发场景下的实战配置，通过三个关键步骤，帮助中高级物联网架构师和运维工程师快速搭建能够承载百万设备接入的MQTT服务节点。与常规概念性介绍不同，我们将直接从Docker Compose部署、内核参数调优到压力测试的全流程入手，提供可立即落地的技术方案。
1. 环境准备与Docker化部署
1.1 硬件资源配置建议
在开始部署前，合理的硬件规划是支撑百万连接的基础。根据EMQX官方性能测试数据，建议配置：
- CPU：16核以上（推荐32核），主频2.5GHz+
- 内存：64GB起步（连接数越多需要越多内存）
- 网络：万兆网卡（至少千兆），确保带宽充足
- 磁盘：SSD存储，IOPS建议5000+
提示：实际资源消耗与消息吞吐量密切相关。如果仅维持连接而不频繁收发消息，资源消耗会显著降低。
1.2 Docker Compose编排
容器化部署能极大简化环境配置流程。以下是经过优化的docker-compose.yml配置：
version: '3' services: emqx: image: emqx/emqx:5.0.3 container_name: emqx restart: always environment: - EMQX_NODE_NAME=emqx@node1 - EMQX_CLUSTER__DISCOVERY_STRATEGY=static - EMQX_LISTENERS__TCP__DEFAULT__ACCEPTORS=64 - EMQX_LISTENERS__TCP__DEFAULT__MAX_CONNECTIONS=1000000 - EMQX_LISTENERS__SSL__DEFAULT__ENABLE=false volumes: - ./emqx_data:/opt/emqx/data - ./emqx_etc:/opt/emqx/etc ports: - "1883:1883" - "8083:8083" - "8084:8084" - "18083:18083" ulimits: nofile: 1048576 sysctls: - net.core.somaxconn=32768 - net.ipv4.tcp_max_syn_backlog=16384 - fs.file-max=1048576 deploy: resources: limits: cpus: '32' memory: 64G reservations: memory: 32G关键配置说明：
EMQX_LISTENERS__TCP__DEFAULT__ACCEPTORS：设置TCP接收器进程数，影响连接建立效率EMQX_LISTENERS__TCP__DEFAULT__MAX_CONNECTIONS：调整单节点最大连接数限制ulimits和sysctls：预先设置容器内系统参数，避免成为性能瓶颈
启动命令：
docker-compose up -d1.3 基础验证
部署完成后，可通过以下方式验证服务状态：
- 控制台访问：浏览器访问
http://<服务器IP>:18083，使用默认账号admin/public登录 - API检查：
curl -v http://localhost:18083/api/v5/status - MQTT连接测试：
mosquitto_sub -h localhost -t "\$SYS/brokers" -v
2. 系统级调优策略
2.1 Linux内核参数优化
要实现百万级连接，操作系统默认的网络栈配置远远不够。需要在宿主机上调整以下参数：
# 添加到/etc/sysctl.conf fs.file-max = 1048576 fs.nr_open = 1048576 net.ipv4.ip_local_port_range = 1024 65535 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_max_syn_backlog = 262144 net.core.somaxconn = 32768 net.core.netdev_max_backlog = 32768 net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_mem = 786432 2097152 3145728 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_max_tw_buckets = 6000000 net.ipv4.tcp_keepalive_time = 1200 net.ipv4.tcp_keepalive_probes = 3 net.ipv4.tcp_keepalive_intvl = 30 vm.overcommit_memory = 1 vm.swappiness = 0应用配置：
sysctl -p2.2 EMQX关键参数调优
在emqx_etc/emqx.conf中调整以下核心参数：
node.process_limit = 2097152 node.max_ports = 1048576 node.dist_buffer_size = 8MB listeners.tcp.default { acceptors = 64 max_connections = 1000000 max_conn_rate = 10000 zone = external active_n = 100 send_timeout = 15s send_timeout_close = on } listeners.ssl.default { enable = false } zone.external { idle_timeout = 15s enable_stats = on force_gc_policy = #{ count => 1000 bytes => 1MB } } force_shutdown { enable = true max_message_queue_len = 10000 max_heap_size = 8MB }2.3 压力测试准备
在正式压测前，需要准备测试环境：
- MQTTX压测工具部署：
docker pull emqx/mqttx-cli - 测试脚本示例：
docker run -it --rm emqx/mqttx-cli bench conn -c 100000 -i 10 -h <EMQX_IP> -p 1883 - 监控方案：
- Prometheus + Grafana监控EMQX指标
- Node Exporter监控系统资源
- 使用EMQX自带的
emqx_top命令观察实时状态
3. 性能压测与瓶颈分析
3.1 分层压测策略
建议采用渐进式压测方法，逐步增加负载：
- 连接阶段测试：
# 10万连接，每秒新增500 mqttx bench conn -c 100000 -r 500 -h <EMQX_IP> - 消息吞吐测试：
# 1万客户端，每秒发布10条QoS1消息 mqttx bench pub -c 10000 -I 100 -t test -h <EMQX_IP> -q 1 - 混合场景测试：
# 5万连接，其中1万活跃发布者 mqttx bench both -c 50000 -n 10000 -t test -h <EMQX_IP>
3.2 关键性能指标
在压测过程中需要重点关注以下指标：
| 指标类别 | 具体指标 | 健康阈值 |
|---|---|---|
| 连接层 | 新建连接速率 | >5k/s |
| 在线连接数 | 稳定在目标值 | |
| 消息层 | 发布吞吐量 | >50k msg/s |
| 端到端延迟 | <50ms(P99) | |
| 系统层 | CPU使用率 | <70% |
| 内存占用 | 无持续增长 | |
| TCP重传率 | <0.1% |
3.3 常见瓶颈与解决方案
根据实际测试结果，可能会遇到以下典型问题：
连接建立速率低：
- 检查
net.core.somaxconn和net.ipv4.tcp_max_syn_backlog - 增加EMQX的
listeners.tcp.default.acceptors
- 检查
内存持续增长：
- 调整
zone.external.force_gc_policy - 检查是否有大量持久会话堆积
- 调整
消息吞吐不达标：
## 在emqx_etc/emqx.conf中调整 zone.external.active_n = 1000 listener.tcp.default.backlog = 102400CPU成为瓶颈：
- 考虑使用多节点集群分担负载
- 检查是否有大量主题通配符订阅
4. 生产环境优化建议
4.1 安全加固措施
实现高并发的同时不能忽视安全性：
- 认证配置：
authentication = [ {mechanism = password_based, backend = built_in_database} ] - ACL控制：
authorization.sources = ["$file etc/acl.conf"] - TLS优化：
listeners.ssl.default { enable = true keyfile = "etc/certs/key.pem" certfile = "etc/certs/cert.pem" ciphers = "TLS_AES_256_GCM_SHA384" handshake_timeout = 15s }
4.2 高可用架构
对于生产环境，单节点存在单点故障风险，建议采用：
- 集群部署：
# 节点2加入集群 docker exec -it emqx1 emqx_ctl cluster join emqx@node2 - Kubernetes Operator：
apiVersion: apps.emqx.io/v1beta1 kind: EmqxEnterprise metadata: name: emqx-cluster spec: replicas: 3 persistent: storageClassName: "standard" resources: requests: storage: 20Gi
4.3 监控与告警
完善的监控体系应包括：
EMQX指标：
- 连接数、主题数、订阅关系
- 消息流入/流出速率
- 规则引擎执行情况
系统指标：
# 使用Node Exporter采集 cpu_usage{instance="emqx-node1"} > 80 mem_used_percent{instance="emqx-node1"} > 70业务指标：
- 设备在线率
- 消息到达延迟
- 命令响应成功率
在实际项目中，我们曾帮助某车联网平台实现单集群千万级设备接入。通过分阶段扩容和持续调优，最终在32节点集群上实现了平均150万消息/秒的吞吐量，P99延迟控制在100ms以内。关键点在于合理设置Erlang VM参数和精细化的主题规划。