MQTT、Kafka、NATS 还是 Zenoh?按流量模式选择边云消息技术

遥测、控制、站点同步和面向人的投递,各自的“物理法则”不同。下面说明 MQTT、Kafka、NATS、Zenoh、事件网格和最后一公里平台如何映射到这些模式上。

作者:Kai Wähner
原文:https://dzone.com/articles/mqtt-kafka-nats-or-zenoh

边到云不是一个集成问题,而是四个:遥测往上走、控制往下走、站点横向同步、数据抵达人。每一种都有自己的物理法则。大多数失败的项目,是用一种技术去解决全部四种问题。

每一家拥有工厂、门店、车辆、医院或设备的企业,都要面对同一个架构问题:数据如何在边缘与数据中心或云之间双向流动,且可靠、安全、成本可接受?厂商给出的答案有几十种彼此重叠的选项:MQTT 平台、超大规模云厂商服务、事件流、事件网格、消息网格(messaging fabric)、投递平台、协议代理。本文按流量模式而非产品品类来梳理这片选项空间,把厂商品类映射到这些模式上,最后给出一个可以直接用于你自己架构的决策框架。

本文的品类是更广泛的集成全景的并列视角,而不是其子集。

MQTT、Kafka、NATS 还是 Zenoh?按流量模式选择边云消息技术

边到云通信到底指什么?

边到云通信,是指在分布式物理位置与集中式计算环境之间、跨越架构师无法掌控的网络进行双向数据传输。

“边缘”这个词掩盖了四个截然不同的层级:

  • 设备边缘:内存只有几千字节的微控制器、传感器和执行器。
  • 网关边缘:工业 PC、车载计算机和协议转换器。
  • 站点边缘:拥有本地算力和自有网络边界的工厂、门店、医院或船舶。
  • 近端边缘:靠近众多站点的区域数据中心。适合某一层级的技术,往往在另一层级失效。

边到云可拆成四种流量模式:北向遥测、南向控制、站点间同步,以及面向人的出站投递。

跨越这些层级的流量可分为四种模式:

  • 北向遥测:把传感器读数、机器状态、交易记录和日志从边缘送往中央平台,用于分析、AI 和业务系统。
  • 南向控制:把命令、配置、软件更新,以及越来越多的 AI 模型,从中央平台下发到机器和网关。
  • 站点间流量:在站点之间、站点与核心数据中心之间、或云与云之间同步数据。
  • 出站投递:把实时数据从中央平台推送到人用的应用上:看板、移动 App 和交易屏幕。

方向、消费者类型和约束条件共同决定正确的技术。厂商偏好不决定任何东西。

为什么网络约束决定了边云架构?

边与云之间的网络,是唯一你无法重构的组件。在任何产品评估开始之前,它的特性就已经决定了架构。

连接不可靠。​ 船舶、车辆和偏远站点会离线数小时甚至数天。任何可行的架构都是“离线优先”:本地继续运行,数据在本地缓冲,链路恢复后再续传同步。这就是为什么在任何边缘评估清单上,存储转发都是最重要的能力。

禁止入站连接。​ 工业现场、零售网络和车队车辆处在 NAT、防火墙和蜂窝运营商之后。安全团队不会为消息通信开放入站端口。因此每一种严肃的边缘技术都用了同一招:由边缘主动拨出。MQTT 客户端向 Broker 拨出;NATS 叶节点向 Hub 集群拨出;Azure IoT Operations 从工厂向云端 Broker 拨出。技术栈不同,答案完全一致,因为约束完全一致。

硬件受限且异构。​ 8 位微控制器、无风扇网关 PC 和站点服务器需要不同的资源占用。有些技术能缩到裸微控制器,另一些则默认你有 Kubernetes 集群。把资源占用与层级匹配,是选型工作的一半。

资源占用并不是唯一维度。在工厂、仓库这类固定安装场景中,设备边缘可以保持“瘦”,因为上行链路可靠,大部分智能位于上游。而在野外,比如农业、吊车、乡村电网、偏远或对抗性环境的上行链路是无线的,常常降级、拥塞、昂贵,甚至连续数天中断。在那里,边缘不能只做缓冲转发,它必须运行足够的本地智能:模式匹配、图像识别、自主决策,以便独立正确运行,并在链路恢复时按机会同步。这把算力推到了设备层,而原因与协议体积无关,它改变的是模式,而不只是产品。

数据驻留如今是架构要求,而不是法律层面的补充考量。​ 欧洲制造商越来越多地必须证明哪些数据离开了现场、国家或司法辖区。主题设计、路由规则和留存策略,都成了合规控制点。

还有一项约束通常是“发明”出来而非测出来的:延迟。团队会宣称一些业务场景里根本不存在的实时需求。相当一部分边缘流量,完全可以用按流量计费的链路上做周期性批处理。记住这一点,后面讲站点间同步时还会用到。

北向:遥测如何从 OT 和设备进入核心?

北向遥测是行业最熟悉的模式,也是共识最成熟的模式。

在机器层,OPC UA 提供语义信息模型,定义温度、批次或机器状态到底意味着什么。MQTT 提供高效传输,而 Sparkplug 在 MQTT 之上补充了主题结构、生/死证书和状态感知。

这两个标准已经不再是竞争者。OPC UA Pub/Sub over MQTT 是它们的汇合点:把 OPC UA 的语义承载在 MQTT 基础设施之上。边缘网关和工业 DataOps 产品(例如 HighByte,或带 MQTT 模块的 Ignition)负责把 Modbus、S7 这类遗留协议转换成这套栈。

随后,统一命名空间(UNS)模式把所有站点数据组织成中央 Broker 上一套实时、分层的主题结构。关于 UNS 的设计与权衡,我已在《工业物联网 IT/OT 中的统一命名空间与数据产品》,以及更广的《MQTT 市场趋势:云、统一命名空间、Sparkplug、Kafka 集成》中详述,这里不再展开。

真正的决策在 Broker 及其运营模式。自管平台承担了大多数工业场景的北向负载:企业级一端有 HiveMQ 和 EMQX,在需要轻量或嵌入式占用时则有 Mosquitto 和 NanoMQ。它们给你部署控制权、协议深度,以及能在网关上运行的边缘版本。托管云服务免去运维负担,并与云上分析原生集成。分界线通常是主权与站点自治:如果 Broker 必须跑在工厂里、船上或特定司法辖区内,自管胜出;如果所有站点连接可靠、数据允许离开,托管在运维成本上胜出。

超大规模云厂商自身讲的是一个不对称的故事。Google 在 2023 年关停 Cloud IoT Core,退出了这个品类。AWS IoT Core 仍是托管设备连接领域的稳定在位者。Azure 在架构上走得最远:Azure IoT Operations 在站点边缘的 Arc 启用 Kubernetes 上运行分布式 MQTT Broker,并把它桥接到云端的 Event Grid MQTT Broker,后者现在原生支持 Sparkplug。这是来自同一家厂商的“边缘 + 云”对称 MQTT 组合,是一种新范式。一家撤退,一家守住,一家加注。给架构师的启示是:托管的便利是真的,但云厂商下线你的接入层的风险也是真的。底层的开放标准(MQTT 和 OPC UA)才是保单。选择会说这些协议的产品,迁移才始终可能。

南向与出站:数据与命令如何流回机器和人?

几乎所有的边缘内容都在讲采集。反方向更难,也恰恰是架构崩掉的地方,因为反方向有两类完全不同的消费者。

机器需要命令和状态。​ 命令可以用基于发布/订阅主题的请求—响应来处理:重启这个网关、关闭这个阀门、修改这个设定值。状态则靠保留消息和设备孪生来处理:一台重新连上的设备必须立刻得知期望配置,而不必等下一个命令。全网批量下发需要分阶段交付,而且负载还在不断变大:配置文件变成了固件镜像,固件镜像正在变成 AI 模型。把量化模型推送到一万个网关,是一个南向数据移动问题,而不是 MLOps 的脚注。同一套网格越来越多地承载边缘智能体的流量:这些 AI 智能体感知本地数据、在本地行动,并通过消息层协同。NATS 和各家 MQTT 平台都在为这类负载布局。

人需要当下的全貌。​ 打开看板的厂长、网络掉线后重连的操作员、会话中途加载屏幕的交易员,有同一个需求:连接时拿到当前状态,然后接收实时更新。日志不是用户界面。机器只消费流,人不是。这就是最后一公里投递问题,它有自己的厂商品类:Lightstreamer、Ably 和 PubNub 位于中央平台与大量并发浏览器、移动 App 之间,处理扇出、按客户端限流和权限校验。这个品类成熟得很快。例如 Lightstreamer 在 2026 年 7 月发布的 Kafka Connector 2.0,把快照管理移进了连接器本身,于是每个重连的客户端都能先收到物化后的状态、再接入实时流。面向人的投递值得单独成文。在这里,它之所以占一席之地,是因为它是大多数边缘架构会忘掉的第四种流量模式——直到第一个用户开始抱怨。

站点间:站点、数据中心与云如何保持同步?

第三个方向是横向的:让众多站点与一个核心之间、或多个云之间的数据保持一致。

对于持久化事件流,Kafka 式复制是默认答案。​ 开源方案 Mirrormaker 2 或厂商专属的集群链接,可以在边缘集群与中央集群之间复制主题,并保留顺序和历史。Apache Kafka 是开源选项;Confluent、Amazon MSK、Aiven 等是托管选项。这适合规模大到能自运营一套流集群的站点,例如一个既做本地分析、又向全球平台供数的工厂。

对于成千上万个小站点,每站点一套流集群的模型会被自身的运维重量压垮。​ 这正是 NATS 在架构上与众不同、而不只是“另一个 Broker”的地方。整个服务器就是一个无外部依赖的小二进制文件。每一家门店、车辆或诊所运行一个叶节点,向中央集群拨出;WAN 断掉时继续服务本地应用;连接恢复后用 JetStream 镜像同步已持久化的流。

零售连锁在上千个门店跑的就是这种模式。同一套设计既能服务间歇场景(离线数小时或数天,重连时批量同步),也能服务定时批处理场景(站点按定时器而非持续复制)。它的维护者自己也提醒过一个陷阱:不要把一个流集群横跨不稳定的边缘链路去“拉伸”,因为网络一断,集群的共识就断。正确做法是让每个站点在本地持久化数据、在中断期间继续服务,链路恢复后再异步镜像到中心。

对于“站点上跑的是应用而不是设备群”的企业,事件网格在应用层覆盖同样的地盘。​ Solace 把它的 Broker 跨数据中心和云连接起来,于是任何地方发布的事件都能到达任何感兴趣的订阅者,主题路由和治理是内建的。当端点是 SAP、大型机和微服务而不是传感器时,这是自然之选。

而且相当一部分站点间流量并不需要流式传输——即便流式往往是更强的长期架构。​ 夜间文件同步、按流量计费链路上的批量上传、从边缘数据库做变更数据捕获,在没有实时要求时依然完全成立。当两端既有的 OT 和 IT 系统本来就是批处理导向、也没有业务理由去为实时化付出成本和精力时,尤其如此。实时是需求,不是默认值。当你需要新鲜数据,或者你在做绿地项目、没有遗留批处理系统要照顾时,才上流式。什么都要流式的架构,是在为批处理问题支付流式的成本。

哪个品类服务哪种边云模式?

七个厂商品类映射到四种模式上。没有任何单一品类能覆盖全部,而消息网格、事件网格和协议代理有意横跨多个模式。

没有任何单一厂商覆盖所有方向。七个品类分割了这块战场,而真实图景是:有些落在一个模式里,有些则刻意横跨多个。

MQTT 平台(EMQX、HiveMQ、Mosquitto、NanoMQ)同时服务北向遥测和南向控制,因为 MQTT 本身就是双向设计。​超大规模云厂商服务(AWS IoT Core、Azure IoT Operations)在托管云场景下做同样的事:接入遥测,并通过设备孪生下发期望状态。​事件流(Apache Kafka、Confluent、Aiven,以及数据流全景中的更多玩家)占据站点间复制。​最后一公里投递(Ably、Lightstreamer、PubNub)占据面向人的出站投递,它也是唯一一个拥有专属品类的模式。

有三个品类横跨多个模式。事件网格(Solace)路由站点间流量并投递到应用。​消息网格(NATS、Zenoh)用一套网格承载北向、南向和站点间。​协议代理(Zilla)翻译全部四种模式,用一个层替换掉若干专用组件。

底层区别值得直说:协议标准不等于部署架构。MQTT 标准化的是线上格式,所以有那么多产品会说它、你的设备也保持可移植。NATS 和 Zenoh 标准化的是拓扑,这减少了活动部件,同时提高了承诺成本。Zenoh 源自 DDS 研究,被包括通用汽车 uProtocol 在内的汽车项目以及 ROS 2 机器人生态采用,走得最远:它在生产者与消费者之间沿最短路径路由具名数据,目标就是让“放云上还是放边缘”这个争论变得无关紧要。

这些横跨型选项并不等价。像 NATS 或 Zenoh 这样的网格减少活动部件、以端到端单一技术统一安全,但这种覆盖范围本身就是锁定:它承载得越多,离开就越昂贵。像 Zilla 这样的协议代理恰恰相反,它通过在既有技术之间翻译来横跨模式,保住了你的退出选项,代价是路径上多了一个组件。正确的选择取决于你实际需要多少种模式、能接受多少锁定,而不是谁的营销更响。

如何选择:五个问题定下你的边云架构

产品评估往往开始得太晚。先回答五个问题,候选清单基本上就自己写出来了。

  1. 数据由谁消费,机器还是人? 人需要在连接时拿到当前状态、随后接收实时更新,这意味着在骨干之上还需要一层最后一公里投递。机器只是消费流。
  2. 这条流真的需要实时吗? 先测量再设计。如果 15 分钟的批处理就能满足业务需求,就用文件同步或变更数据捕获。需要新鲜数据时才上流式,因为你并不需要的流式基础设施,是最贵的那种基础设施。
  3. 路径上最受限的节点是什么? 微控制器意味着 MQTT 或 Zenoh,这两个的客户端小到能跑在设备本身、而不需要 JVM。网关则打开了轻量 NATS 或完整 Broker 的空间;而站点服务器还可以再加事件网格或小型流集群。
  4. 有多少站点,每个站点能运营一套集群吗? 少数带本地分析的大站点,足以支撑边缘 Kafka 集群加 MirrorMaker 或集群链接。成百上千个小站点则需要 Hub-and-Spoke:NATS 叶节点或分层 MQTT 桥接,并在每个 Spoke 上做存储转发。站点上跑应用而非设备的企业,适合事件网格。
  5. 数据必须存放在哪里? 如果适用驻留或主权规则,Broker 就要跑在现场或辖区内的自管环境,路由策略也随之成为合规控制手段。如果数据可以离开、连接也稳定,托管云服务在运维成本上胜出。

几乎每个分支、每个步骤上还有两条检查。边缘必须向外拨号,绝不接受对站点的入站连接。​ 以及本地运行必须在离线时存活,缓冲区要刻意定容,而不是在第一次故障时才发现不够。​ 五个问题、四种模式、一张地图。技术随后会自己归位。

搬数据不等于业务自动化

本文中的每一种模式和品类,解决的其实是同一个问题:在边缘、数据中心和云之间搬数据。这种搬运是必要的,但并不充分。当遥测到达时,必须有东西去决定下一步做什么:触发维护工单流程、回滚失败的固件下发、复制数据集、开立故障单、重训模型。

决定下一步做什么,是工作流编排。它与它下方的数据搬运跨越同一条边云边界。数据集成负责搬运事件;编排加上能看清这些流程实际如何运行的流程智能决定业务拿它们怎么办。而智能体式 AI 越来越多地在边缘对这些决定采取行动。这不是三个割裂的话题,而是同一套栈,而边到云正是它们与物理世界相遇的地方。

那些只搬数据、其余全靠临场发挥的架构,最终会把自动化逻辑散落在 Broker 插件、cron 任务和云函数里。这正是整个学科想要清除的“集成意大利面”。

边到云不是一个问题,而是四个。为模式而设计,而不是为产品而设计。

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/im/73396.html

赞 (0)

相关推荐