设备上云跑通之后,最常见的评价是”通信没问题,就是偶尔丢点数据”。
“偶尔丢点”听着不严重,但如果你在统计能耗、计数、报警——丢的那一点恰恰可能是最关键的一条。
很多人第一反应是把 QoS 从 0 调到 1。调完发现还是丢。因为 QoS 解决的不是这个问题。
QoS 到底保证什么
| QoS | 语义 | 不保证什么 |
|---|---|---|
| 0 | 最多一次(发了就不管) | 有没有送到 |
| 1 | 至少一次(没收到 ACK 就重发) | 可能出现重复 |
| 2 | 恰好一次(四次握手) | 开销大,很多云平台不支持 |
关键理解:QoS 是”端到端传输层”的保证,前提是连接还在。
一旦网络断了、设备休眠了、Broker 重启了,QoS 就无从谈起——那时候的数据根本没进入传输过程,谈不上”保证送达”。
真正丢数据的三个地方
| 丢在哪 | 原因 | 谁能解决 |
|---|---|---|
| 采集端 | 采样周期抖动、缓冲区被覆盖 | 固件 |
| 设备本地 | 断网期间没有缓存,直接丢弃 | 固件(最关键) |
| 传输/云端 | 重复投递被当成新数据、乱序覆盖 | 协议设计 + 云端 |
中间那行是绝大多数”偶发丢数据”的真凶。
一、本地队列:断网时必须先存下来
最基本的设计:
采集 → 写本地队列 → 发送 → 收到 ACK → 出队
↓ 失败
重试 N 次 → 仍然失败?保持入队,等下次
三个要点:
① 队列要有序号,且跨重启递增。 不能每次重启从 0 开始,否则云端分不清”这是新数据还是重发的旧数据”。
② 队列要有容量上限和溢出策略。 Flash 是有限的。满了之后怎么办?两种选择:
- 丢最旧的(适合时序数据,关心最新状态)
- 丢最新的(适合累计量、事件,一条都不能丢)
这个选择必须提前定,不能等满了再随机覆盖。
③ 出队的时机是”确认”,不是”发出”。 很多实现发出去就出队,一旦 Broker 没收到,数据就永久没了。
二、QoS 1 的重复问题:必须做幂等
QoS 1 的语义是”至少一次”,意味着同一条数据可能被投递多次(比如 ACK 丢了,设备重发)。
如果云端做的是”累加”或”插入新记录”,重复投递就会变成数据翻倍。
解法:每条消息带唯一 ID(设备号 + 序号),云端按 ID 去重。
这跟串口协议里的重传去重是同一个道理——凡是可能重发的链路,接收端就必须幂等。
三、遗嘱消息(LWT):让别人知道你已经掉线
MQTT 有一个很有用的机制:设备连接时注册一条”遗嘱”,一旦 Broker 检测到连接异常断开,就自动替设备发布这条消息。
用途:在线状态。
连接时:LWT = { topic: "dev/xxx/status", payload: "offline", retain: true }
上线后:主动发 { topic: "dev/xxx/status", payload: "online", retain: true }
没有这个,云端只知道”好久没收到数据”,分不清是设备坏了、网络断了、还是它就是在省电休眠。
注意:正常断开(主动 disconnect)不会触发遗嘱——这是符合预期的,别把它当成故障。
四、重连策略:别用固定间隔
弱网环境下,固定 1 秒重连会造成”重连风暴”:几百台设备同时掉线、同时重连,Broker 直接被压垮。
用指数退避 + 随机抖动:
第 1 次:2 s ± 随机
第 2 次:4 s ± 随机
第 3 次:8 s ± 随机
……
上限:60 s(或 5 分钟,取决于业务)
随机抖动是关键——它把设备的重连时间打散,避免同时冲击服务器。
五、心跳与网络状态的判断
心跳周期(Keep Alive)决定”多久发现掉线”。设太短会增加功耗和流量,设太长则故障发现慢。
| 场景 | 建议 |
|---|---|
| 市电供电、频繁通信 | 30~60 s |
| 电池供电、低频上报 | 300 s 以上,配合”连接-发送-断开”模式 |
| 需要快速感知掉线 | 30 s + 应用层心跳 |
省电设备的常见做法不是”一直连着”,而是”连上—发完—断开”。 这样每次只付几秒的连接开销,其余时间射频完全关闭。
一张故障对照表
| 现象 | 原因 |
|---|---|
| 断网恢复后少了几个小时的数据 | 没有本地队列,断了就丢 |
| 云端数据总量是实际的两倍 | QoS1 重复投递,没做幂等 |
| 数据时间戳乱序 | 队列是”先进后出”,或者重发时没带原始时间 |
| 设备长期显示”离线”但其实在工作 | 遗嘱消息没配置,或者 retain 没设 |
| 服务器在早高峰被打挂 | 固定间隔重连,没有退避和抖动 |
| 重连后收不到下行命令 | 订阅没在重连回调里重新执行 |
最后一条很常见:很多人只在”首次连接成功”时订阅主题,重连后忘了重新订阅,于是设备在线但收不到指令。
我们做上云的顺序
- 先定丢数据的边界 —— 断网几小时能接受?这决定队列容量
- 做本地队列 —— 带序号、跨重启递增、明确的溢出策略
- 出队绑确认 —— 收到 ACK 才删
- 做幂等 —— 云端按 ID 去重
- 配遗嘱 + 在线状态 —— 让云端能区分”坏了”和”睡了”
- 重连退避 + 抖动 —— 保护服务器,也保护自己
一句话:QoS 是管道质量,本地队列才是水库。 没有水库,管道再粗也留不住断流那段时间的水。