低延迟视频流到底如何工作,代价是什么

“低延迟流媒体”(Low-Latency Streaming)与“超低延迟流媒体”(Ultra Low-Latency Streaming)的说法如今随处可见:宣传册、服务商演示、行业展会。几乎每家转码与转推厂商都宣称支持低延迟广播,但营销宣传背后往往缺乏实质内容。即便能看到200ms、500ms一类醒目的数字,单一产品也不可能适用于所有使用场景;目前也几乎没有严格的国际标准对这些术语作出界定,即使信号在完全可控的环境中传输,实际延迟仍受诸多因素影响。相关论述往往只关注最后一个环节,把传输协议称为“低延迟协议”,却忽略了视频处理的其他所有阶段——从信号采集、压缩、媒体容器封装到接收与解码,这些环节叠加的延迟可能是传输本身耗时的数倍。本文结合实际系统拆解这些宣传说法:低延迟在真实系统中意味着什么、时间由哪些部分构成、何种情况下值得追求毫秒级延迟,以及为此付出的代价。

文章来源:Elecard 官网 
文章题目:低延迟视频流到底如何工作,代价是什么(How Low-Latency Video Streaming Actually Works and What It Costs) 
文章作者:Dmitriy Shmakov(Elecard 主任工程师) 
原文链接:https://www.elecard.com/page/low_latency_streaming 
内容整理:刘昱涵 

一、(超)低延迟广播术语

最近一次系统梳理(超)低延迟广播术语的工作,是流媒体视频技术联盟(Streaming Video Technology Alliance, SVTA)于2025年开展的调研,由旗下的低延迟流媒体工作组推动。工作组成员来自 Elecard、TAG Video Systems、Sky、IMAX 等公司。调研围绕低延迟流媒体的各个方面展开,共回收102份问卷——样本不算大,但足以反映行业当前的总体判断。完整报告见 SVTA 2025 低延迟流媒体调研。

调查显示,仍有44%的受访对象延迟处于10至40秒,24%处于2至10秒,2秒以下的仅占28%;而86%的受访者将理想延迟目标设定在5秒以内。

低延迟视频流到底如何工作,代价是什么
图1:SVTA 低延迟调查结果——当前延迟(左侧)与理想延迟目标(右侧)

可见,行业当前采用的技术与用户期望之间仍有较大差距,而且期望值随内容类型显著不同。

新闻和娱乐节目延迟数秒并无大碍;体育赛事则不同,没有人希望在电视上看到进球之前,手机已经收到进球推送。即便如此,也不存在适用于所有场景的“低延迟”标准数值:标准 OTT 做到5秒已属较好水平;定制 IPTV 系统可能以1秒为目标;某些专业场景则要求250–300ms。

因此,脱离具体毫秒数、测量方法与达成条件谈论“低延迟”,无法反映系统的真实技术能力。

二、广播延迟到底由什么构成

典型的视频传输链路包括以下几种:

  1. DVB 链路:SDI 信号源 → 音视频编码器 → TS 复用器 → TS 经 UDP 传输至 DVB 调制器 → 电视机或机顶盒(Set-Top Box, STB)接收。
  2. 经典组播 IPTV 链路:与 DVB 类似,但省去 DVB 调制器,TS 经 IP 网络直接传输至电视机或机顶盒。
  3. OTT 链路:编码器之后依次为打包器、源站(Origin)、CDN,最后是客户端播放器;播放器负责下载分片、选择质量档位并管理自身缓冲。
低延迟视频流到底如何工作,代价是什么
图2:DVB、组播 IPTV 与 LL-OTT 三条链路的对比

视频处理与传输的每个环节都会引入一定延迟,其中多数有其合理原因:部分缓冲用于提高压缩效率,部分用于同步各路基本流、平滑传输峰值,或保证观众端播放稳定。

因此,低延迟并非选定某种传输协议即可解决。关键在于确定每个环节所必需的缓冲时长,并在不破坏系统稳定性的前提下尽可能压缩冗余。

1. 前瞻(Lookahead)

编码环节的主要延迟来源之一是前瞻——即对后续帧的分析。编码器先缓存待编码帧,评估其复杂度,再据此优化码率分配。例如,若即将出现复杂且占用较高码率的场景,编码器可略微减少前面几帧的数据量,将比特留给该场景。

这一机制与 VOD 文件的两遍编码类似,但并不完全相同:文件编码时,第一遍可以分析整段视频;直播编码时,编码器只能利用有限的后继帧窗口。

窗口大小取决于编码参数。设为50帧、帧率25fps时,仅前瞻分析一项,编码器就需要缓存长达2秒的视频,足以耗尽整个延迟预算。

多数编码器允许完全关闭前瞻,但压缩效率会随之下降:相同码率下画质很可能下降;若要维持主观质量,则需提高码率。此外,前瞻带来的质量收益取决于内容特性,在复杂、高运动场景中尤为明显。

体育赛事包含大量复杂运动、精细纹理与快速场景切换,最需要借助后继帧分析维持画质;然而,这类流对延迟的要求也最为严格。

2. B帧

B帧的使用是另一延迟来源。

B帧的帧间预测既可参考历史帧,也可参考后续帧,从而提高压缩效率;但系统必须等待所依赖的后续帧到达。

低延迟视频流到底如何工作,代价是什么
图3:Elecard StreamEye 2026 中的码流结构分析

假设某个B帧参考显示顺序中位于其后的第3帧。在25fps下,每帧持续40ms,因此该预测结构需要约120ms的后续视频。普通广播对此并不敏感;但若目标延迟为200–300ms,仅等待参考帧一项便占用了大部分预算。

该延迟由 GOP(图像组,Group of Pictures)结构决定,即使关闭前瞻仍然存在。可将B帧数量减少至1个,或完全禁用B帧,但仍需面对同样的取舍:延迟降低的代价是压缩效率下降。

3. 复用与音视频同步

TS(传输流,Transport Stream)复用器也会引入额外延迟。复用运算本身负载不高,执行速度很快;延迟主要来自多路基本流(音频、视频、字幕等)的同步处理,以确保各类数据在接收端同时到达。

音频与视频即使来自同一 SDI 信号源,也是分别编码的,本应配对的音频帧与视频帧到达复用器输入端的时刻可能不同。构造 TS 时,复用器必须对数据进行精细交织:每路数据既要在解码器请求之前送达,又不能过早到达以致接收端缓冲溢出。

在机顶盒一侧,音频与视频分别设有缓冲,且容量有限,因此 TS 中数据的时序安排受到限制。

低延迟视频流到底如何工作,代价是什么
图4:TS 复用器侧与机顶盒侧的音视频缓冲区

若输入基本流之间的时间差较大,复用器需要更大的缓冲来吸收;也可在前端环节缩小该时间差,或增大接收端缓冲。

以 Elecard Stream Analyzer 分析的一段实际 TS 为例:Time Dynamics(时间动态)图显示所选音频流与视频流之间的 PTS(显示时间戳,Presentation Time Stamp)差值,在该片段中,这一差值最高达到3秒。

低延迟视频流到底如何工作,代价是什么
图5:Elecard Stream Analyzer 2026 中的音视频 PTS 差分析

根据工程经验,PTS 差值应保持在1秒以内,超过该值可能引发复用与播放问题。缩小复用器缓冲会压缩基本流同步的余量,进而要求各路流在前端环节即保持更严格的时间对齐。

4. 把传输流送上网络

在输出端形成 UDP 流时,还会引入一层延迟。但 UDP 协议本身并非主要瓶颈:编码器与复用器输出的数据往往以突发方式到达网络接口;若不进行整形而直接发送,这些突发将直接转化为抖动的 UDP 流量。

评估码流的时序结构时,通常考察 IAT(包到达间隔,Inter-packet Arrival Time),即相邻数据包到达的时间间隔。

在一次测试中,我们完全关闭输出缓冲,Elecard Boro 记录的 IAT 峰值位于200–400ms:

低延迟视频流到底如何工作,代价是什么
图6:Elecard Boro 3.0 中关闭输出缓冲时的 IAT

DVB 调制器要求数据以高度可预测的速率到达,因此这种速率起伏不定的输入流往往无法满足其要求。

为降低网络输出端的 IAT,系统采用速率控制并增加一级缓冲:先暂存部分数据,再以更平滑、均匀的节奏发送。

在同一测试中,保持其他条件不变,我们比较了三种输出缓冲配置。缓冲为0时,最大 IAT 约为200–400ms;缓冲提高至700ms后,IAT 降至约10–20ms;缓冲提高至1400ms时,绝大多数读数稳定在3–4ms,仅有少量小幅尖峰。

低延迟视频流到底如何工作,代价是什么
图7:Elecard Boro 3.0 中不同输出缓冲大小下的 IAT 对比

码流平滑度方面,1400ms 配置表现最佳,但这一平滑度是以增加1400ms延迟为代价的;在低延迟广播中,这一代价无法接受。

在这一处理阶段,目标并非将 IAT 降至最低,而是找到足以平滑码流、满足下游设备要求的最小缓冲就够了。专业转码、复用与流媒体方案支持对上述参数进行手动调整。

三、OTT 中的延迟

OTT 又引入了若干额外延迟来源:分片生成、发布至源站、经 CDN 传输至客户端,以及播放器内部的缓冲。

在传统 HLS 与 DASH 中,播放器处理固定长度的分片,通常为2至10秒。播放器会在缓冲区中预先缓存若干分片,以保证播放连续。因此,即使编码参数设置得极为激进,总延迟仍很容易达到数十秒。

HLS 与 DASH 的低延迟版本(LL-HLS / LL-DASH)正是为解决这一问题而设计:允许在完整分片生成之前,先行传输并播放其中的小块(chunk)。

在 Elecard CodecWorks 中落地低延迟 OTT

以实际项目为例:在全球顶级足球赛事期间,需为美国一座球场部署 LL-OTT 广播。任务是为 VIP 包厢提供4路 OTT 频道供平板观看,要求延迟尽可能低,同时支持对直播流进行最长4小时的回看。

Elecard 方案采用一台 CodecWorks 服务器接收 SDI 信号、编码视频、封装为 LL-DASH,再分发至客户端播放器。低延迟的实现主要依赖于将分片划分为更小的块,使播放器无需等待完整分片生成和下载即可获取内容。

低延迟视频流到底如何工作,代价是什么
图8:LL-DASH 球场广播项目中的 Elecard CodecWorks 架构

内部测试使用平板上的 THEO Player,测得从 SDI 信号源到实际播放的延迟约为1秒;在 OTT 中,这一结果相当理想。但需要说明:该系统面向规模有限且完全封闭的受众(最多40台平板),运行于完全可控的网络环境中。

若将相同配置直接用于公网接入的成千上万用户,无法保证系统正常工作。在局域网中依靠极小播放器缓冲换来的1秒延迟,一旦公网传输出现轻微波动,便会导致持续缓冲与卡顿。这正是封闭专业广播环境与大众 OTT 场景在低延迟实现上的根本差异之一。

在完全可控的基础设施中,可以选择硬件、精细调整各级缓冲并限制观众数量。公共互联网上的大规模广播则完全不同:用户设备各异、带宽差异显著、播放器软件能力也不一致。大众 OTT 仅缩短分片或削减缓冲并不足够,还须在传输条件持续波动时保持系统稳定。

LL-OTT 的发展方向之一是加强传输机制与应用逻辑的整合。例如,HTTP/3 在 UDP 之上采用 QUIC 传输协议,使应用能够获取实时连接状态,并在某些配置下更灵活地管理数据传输。但这些新型 LL-OTT 工具只有在端到端均获得支持时才能发挥作用,即服务端、分发网络与客户端应用都必须兼容。

四、结论

广播中的低延迟并非某种传输协议的固有属性,也无法通过在编码器上启用“LL 预设”简单实现。总延迟是整个处理链路各环节延迟之和,涵盖从原始画面被采集到画面显示在观众屏幕上的全过程。

链路中的每个环节都需要占用一定缓冲时间以完成其功能,削减这些缓冲,必然伴随取舍。

在理想的实验室环境中达到目标毫秒数,只是成功的一半。真正的挑战在于真实环境中维持低延迟:内容不可预测、网络状况复杂,且终端设备成千上万、各不相同。

因此,当看到“超低延迟——200ms”一类的宣传时,真正应当追问的并非产品能否达到该数值,而是:测量取哪两个端点?基于何种网络条件?最重要的是,为获得这些毫秒,究竟牺牲了什么?

作者简介

Dmitriy Shmakov,Elecard 主任工程师,自2021年起从事视频分析工作,负责公司主要客户的技术支持,包括 Telstra、Globo、Amagi、Innet 等。

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

赞 (0)

相关推荐