音视频技术已大幅提升，为何我们仍感受不到身临其境？

过去20年来，我们一直在以易于衡量的方式改进数字媒体。分辨率稳步提升，网络速度加快，延迟降低。几乎所有技术指标都取得了显著进步。然而，尽管取得了如此巨大的进步，我们的数字互动仍然感觉有些单薄。我们比以往任何时候都能看到和听到更多，但却很少能真正感受到身临其境。

这并非由于技术进步不足。视频压缩技术的进步是关键。音频编码和传输效率取得了非凡的成就，时至今日，它们仍然至关重要。没有它们，我们所知的现代流媒体和通信将无法实现。但这些成功也暴露出一个长期存在的盲点。高清和清晰度解决了关键的技术问题，却未能解决人性问题。

多年来，更清晰的图像和更纯净的声音一直被视为相对独立的挑战，各自单独进行优化。最终效果往往令人印象深刻，但总感觉不够完整。临场感并非仅靠分辨率或清晰度就能实现，而是需要像在现实世界中那样，将深度、动态、时机和声音完美融合才能展现出来。

这个问题持续存在的原因之一是，临场感难以简单衡量。像素、比特率和帧率可以清晰地纳入图表和基准测试，但临场感却并非如此。它取决于多个信号如何实时组合，以及它们的行为是否符合大脑的本能识别。如果不符合，大脑会进行补偿——悄悄地填补空白。久而久之，这种补偿就会变成疲劳。

为什么存在感始终难以捉摸?

任何花几个小时进行视频通话的人都会对此深有体会。面孔清晰，声音洪亮，但总感觉缺少了些什么。细微的延迟会打断对话的流畅性，声音缺乏空间感，动作也显得不够自然流畅。每一项瑕疵单独来看都微不足道，但累积起来却会造成情感上的疏离。我们彼此相连，却又无法真正地相聚。

改变的不是效率和清晰度的重要性，而是我们对它们作用的理解。压缩效率的持续提升（以更低的比特率和更低的复杂度实现更高的质量）仍然至关重要，尤其对于沉浸式视频和体积视频等应用而言。同时，如果底层信号不连贯，仅靠效率无法创造临场感。

近期的进展反映了媒体堆栈整体的更广泛协调。下一代视频编解码器的进步有助于在实际限制条件下更忠实地保留运动和深度信息。空间音频技术恢复空间感，让声音以三维形式存在，而不是局限于单一声道。这些发展相辅相成，而非相互竞争。

要提升用户体验，就需要将流媒体视为一个协调的系统，而不是简单的传输管道。低延迟连接，从当今的 5G 网络到新兴的 6G 架构，都至关重要。开始优先考虑响应速度而非原始吞吐量。当与自适应的、AI驱动的视频编码相结合时，这一点尤为重要。信息流可以动态调整，保留人类感知最敏感的线索，同时舍弃对体验贡献甚微的数据。

这些不足并非源于缺乏雄心壮志，而是源于方案设计上的缺陷。多年来，流媒体主要被视为一种传输挑战：如何通过越来越粗的管道，以更快的速度压缩更多数据。然而，临场感并非取决于数据量，而是一种由系统间的协调、响应和一致性所塑造的体验。

流媒体能否成为我们生活的一部分？

简而言之，答案是肯定的。近期的突破表明，相关工具以及跨网络、编解码器和设备的协调工作如今已触手可及。这标志着解决问题的方式发生了转变。我们可以将临场感视为系统层面的挑战，而不仅仅是视觉上的升级。

全保真流媒体并非旨在震撼感官，而是为了还原那些令互动感觉自然的微妙线索。例如，空间音频将人声和声音锚定在三维空间中，营造出沉浸式的声音体验，为音乐、电影、游戏和通话增添深度和真实感，带来更自然、更身临其境的体验。逼真的 3D 和立体视频引入深度和透视效果，让观众能够身临其境地感受场景，而非仅仅从外部观看。自适应的AI驱动压缩技术确保即使场景复杂度增加，也能保持高效且可扩展的体验。

为了维持这种幻觉，这些要素必须协同运作。如果图像和声音之间、或者动作和响应之间存在延迟，沉浸感就会消失。这就是为什么压缩、人工智能、边缘处理和新兴网络技术的进步如此重要。它们使得协调复杂性、动态调整数据流以及优先处理人类感知真正关注的内容成为可能。随着网络向 6G 演进，重点将从原始速度转向响应能力，也将从传输更多数据转向在正确的时间传输正确的数据。