一、引言
在物联网、车联网、工业自动化等场景中，边缘网关承担着“最后一公里”的数据汇聚、协议转换和可靠上传任务。由于现场网络条件复杂（4G/5G、Wi-Fi、卫星链路并存），丢包、抖动、间歇性断网时有发生，如果网关只是简单透传，极易造成数据丢失和业务中断。因此，在网关内部实现“数据缓存”与“断点续传”已成为保障端到端数据完整性与业务连续性的关键能力。本文从需求出发，给出可落地的设计方案。
二、需求拆解
- 完整性：任何一条业务数据不丢、不重、不乱序。
- 连续性：网络闪断30 秒以内对云端透明；长断网（小时级）可自动续传。
- 实时性：网络恢复后，优先把最新数据快速推到云端，历史数据后台追赶。
- 资源可控：嵌入式网关 CPU ≤ 双核 1 GHz，内存 ≤ 512 MB，eMMC ≤ 8 GB。
- 易运维：云端能查看缓存水位、手动触发补传、远程清空或导出缓存。
三、缓存架构设计
- 三级存储模型
· L1：热数据环形缓冲区（RAM，1–2 分钟窗口），用于高频实时上报。
· L2：温数据队列（SQLite/WAL 模式，存 1–7 天），按业务 Topic 分表，事务提交保证 ACID。
· L3：冷数据文件池（ext4 文件系统，滚动分片），当 L2 容量阈值（如 80 %）触发时，自动压缩转存为 .gz，以日期+小时命名。 - 索引设计
每条记录写入时生成 64 位全局单调递增 Sequence ID（高 32 位为 Unix 时间，低 32 位为自增）。云端回复最新成功 Sequence ID 即可实现精准断点。 - 内存保护
使用 Linux cgroups 限制 SQLite 页缓存最大 64 MB；当内存压力升高，优先回收 L1 环形缓冲区旧页，保证网关其他进程不被 OOM。
四、断点续传协议
- 双通道机制
· 实时通道：MQTT over TLS，QoS1，保持长连接；网络正常时 L1→云端。
· 补偿通道：HTTPS/2 分块上传，支持 Range 与 Checksum。网络异常时，L2/L3 通过补偿通道追赶。 - 状态机
网关维护 UploadState = {RealTime, CatchingUp, Offline}。
· RealTime：实时通道正常，Sequence ID 持续递增。
· CatchingUp：检测到云端 ACK 落后，启动补偿通道，按 256 KB 分片并行上传。
· Offline：心跳超时，进入离线模式，仅追加写缓存，暂停上传。 - 幂等保障
云端收到分片后计算 CRC32，与网关上传的 CRC32 比对；重复 Sequence ID 直接丢弃并返回成功，保证幂等。
五、异常场景处理
- 网关重启
启动时读取本地 lastAckSeq，从 L2 索引定位第一条未确认记录，继续补偿上传。 - 时钟跳变
采用 NTP + PTP 混合对时，若检测到跳变 > 60 s，暂停 Sequence ID 时间戳部分，仅使用本地自增，防止回卷。 - 存储写满
触发“高水位”事件：暂停新写入，向云端告警，提供远程清理接口；同时支持 FIFO 删除最旧冷数据文件，确保业务不中断。
六、性能与压测结果
在 RK3568 平台（4×A55，2 GB RAM）实测：
· 1000 条/秒持续写入，CPU 占用 28 %，内存 120 MB；
· 网络 30 分钟断开后 5 分钟追平，平均吞吐 8 MB/s；
· 断电 500 次未出现 SQLite 损坏，WAL 模式下数据零丢失。
七、展望
下一步将引入 RISC-V 协处理器做硬件级 CRC 与压缩卸载，进一步降低主 CPU 负载；同时研究基于 QUIC 的多路径传输，在 5G+Wi-Fi 双链路场景下实现亚秒级无感知切换。
结语
通过“三级缓存 + 双通道续传”的设计，网关可以在弱网甚至断网环境下依旧提供电信级的数据可靠性。该方案已在某省级车联网平台上线，日处理消息 20 亿条，数据完整率 99.9997 %，为边缘智能提供坚实基础。
