机器驱动的视频促使行业重新思考视频压缩、计算与网络架构

随着 AI 应用越来越多地依赖摄像头和视觉传感器去解读物理环境、协调活动并在无人干预的情况下做出决策，视频基础设施正逼近一个架构转折点。

这一转变正在暴露物理 AI（Physical AI）在可扩展性上的局限，根源在于现有的视频压缩技术。这些技术是为向人类观众交付高质量图像而开发的。从自动驾驶汽车、工业机器人到交通管理和基础设施巡检，各类应用都需要视觉信息被持续处理，且往往要满足严格的延迟、带宽和功耗约束。对人类观看视频而言，视觉保真度至关重要；而机器用例处理视频时，只需要足以完成其功能的视觉信息，任何多余的视觉信息都可能浪费带宽和功耗，甚至损害机器的功能。

这些需求正在促使视频技术行业重新思考视觉信息如何被采集、压缩、传输和处理。新兴方案包括面向机器的特征编码（Feature Coding for Machines，FCM）和多功能视频编码机器版（VVC for Machines），可能会大幅改变机器视觉系统的经济性和架构。

在最近一期由媒体编码产业论坛（MC-IF）成员参与的、面向记者的高管视频访谈中，高通（Qualcomm）的 Aytac Biber、诺基亚（Nokia）的 Honglei Zhang 和 OP Solutions 的 Rob Moore 探讨了面向机器的视频压缩如何满足物理 AI 的运营需求。

讨论突出了行业优先级的根本性转变。压缩效率的评估标准，正日益转向机器决策的准确性、计算负载的分布方式，以及跨网络传输视觉信息的成本。

机器视觉改变了视频压缩的经济性

传统视频编解码器一直围绕人类消费的需求演进。从 MPEG-2、高级视频编码（AVC）到高效视频编码（HEVC），这些标准在保持适合观众观看的图像质量的同时，提升了视频存储与分发的效率。而机器视觉应用引入了截然不同的需求。

Biber 解释说，工业相机、自动驾驶汽车、无人机和机器人系统越来越多地采集视觉信息，用于识别物体、追踪运动、识别模式和支持自动化决策。对人类观众重要的视觉特征，对这些应用可能几乎没有意义。

例如，自动驾驶汽车必须识别行人、道路边界、障碍物和其他车辆；保留周围风景的视觉丰富性，对车辆当下的决策需求帮助甚微。

Moore 强调，因此传统编解码器会保留大量信息，而机器学习系统在分析阶段随后又将其丢弃。后果不止于带宽消耗。传统架构通常要求相机对视觉信息进行编码，把压缩后的视频传输到处理器，解码图像，然后再用神经网络提取推理所需的特征。这一连串流程可能造成处理瓶颈——比如多台相机持续向一个集中式计算系统喂数据的场景。

FCM 采用了不同的压缩思路。物理场景依赖的是“特征”（从视频中提取的机器可读的信息表示）而不是像素信息。大多数基于传统视频编解码器的物理 AI 系统是从解码后的视频码流像素中提取特征，而 FCM 把提取过程前移到边缘，直接生成仅由特征构成的码流。在许多物理 AI 实现中，FCM 码流占用的带宽显著更少，其他方面的表现也优于传统编解码器。Moore 引用了性能对比数据：FCM 在取得与传统编解码器相当的物体检测和追踪精度的同时，带宽用量只有其 1/18 到 1/25。这些数字展示了潜在的效率收益，不过实际性能取决于应用、配置和评估条件。

Honglei Zhang 指出，机器视觉还需要一套更广泛的压缩性能度量方法。不同应用有不同的精度要求，视觉解读中看似微小的错误也可能带来严重的运营后果。因此，相关性能指标已超出图像质量范畴，扩展到检测精度、处理效率以及下游机器决策的可靠性。

物理 AI 推动处理向边缘迁移

物理 AI 的扩张可能给企业网络、本地计算基础设施和半导体平台带来巨大的额外压力。

持续的视频采集会带来尤其棘手的扩展性挑战。与传统娱乐视频不同，机器生成的视觉信息可能由成千上万的相机、传感器和自主设备全天候产生。Moore 用配备约 17 个摄像头的自动驾驶汽车举例说明潜在规模：他估算，这样一辆车每小时可产生约 5.5 TB 的原始视频数据；随着自动驾驶交通的铺开，总数据量将十分惊人。

这些估算反映的是潜在的数据生成量，而非必然流经外部网络的流量。尽管如此，它们凸显了减少不必要数据搬运的重要性。

Biber 指出，基础设施方面的影响远不止广域网。局域网、边缘服务器、内存系统、存储资源和供电都必须承受不断增长的机器生成信息量。面向机器的压缩可以让更多处理发生在产生数据的相机和传感器附近，从而缓解这些压力。这对半导体设计的影响尤为深远。

据 Biber 介绍，芯片厂商在集成相机处理、AI 加速器、内存、视频引擎、连接和安全能力时，机器视觉正成为日益重要的考量因素。高效的特征表示可以减少内存搬运和网络流量，同时允许部分 AI 推理负载分布在终端设备、边缘处理器和集中式计算系统之间。

Moore 还描述了一种超越传统“设备到服务器”架构的潜在演进方向：智能边缘设备之间的直接通信。例如，自动驾驶汽车可以交换道路危险信息，而无需传输完整的视频流；类似地，协同作业的工业机器人可以共享相关观察结果，以提升对作业环境的集体认知。这类架构可以降低对集中式处理的依赖，但同时引入了互操作性、同步和可靠通信方面的新要求。

隐私是另一个重要考量。Biber 解释说，传输提取后的特征而非完整图像，可以减少离开设备的敏感视觉信息量。但他同时提醒，基于特征的压缩本身并不能独立保证隐私：安全控制、系统架构，以及从传输特征中重建敏感信息的可能性，都仍是必须考虑的因素。

相互竞争的压缩方案带来新的实现选择

随着机器视觉市场的兴起，未来也可能同时支持多种压缩架构。

Honglei Zhang 区分了 VVC for Machines 和 FCM，指出两种方案各有实现上的优势。基于 VVC 的技术在保留传统视频表示的同时，融入了提升机器分析性能的方法。神经网络可以支撑预处理和后处理，为特定任务优化 resulting 信息。这种方式为已有视频基础设施的组织提供了更熟悉的迁移路径，尽管重建图像数据仍会保留传统编解码器的部分处理开销。

FCM 则走了一条更专用的路线：压缩中间神经网络特征，供下游机器学习系统消费。这种架构可以提供更高的压缩效率和计算负载分配上的灵活性，但其实现更直接地依赖于底层 AI 模型和应用的需求。

对企业技术决策者而言，这一选择涉及基础设施兼容性、带宽效率、计算需求、精度和部署复杂度之间的权衡。张宏磊表示，行业在将这些方案正式化的道路上已经取得了实质性进展：支撑 VVC for Machines 的技术工作已经就绪，FCM 的标准化也进入后期阶段。

不过 Moore 强调，随着机器视觉需求的不断演变，进一步的协作和实施反馈仍然不可或缺。

其更深远的意义超越了压缩比的提升。随着视觉传感器成为工业自动化和自主系统不可或缺的组成部分，视觉信息的表示方式将日益影响网络设计、半导体架构和 AI 工作负载的分布。因此，评估机器视觉基础设施的组织，需要考虑压缩决策如何影响整个系统的性能和经济性。

行业面临的新挑战，是开发可互操作的方案：既保留机器所需的信息，又最小化交付这些信息所消耗的计算与网络资源。对物理 AI 而言，这种能力可能成为智能系统从单台设备扩展到自主机器协同网络时效率高低的重要决定因素。