音画同步测试方法的研究与实践

导读:音视频通话中的音画同步问题一直是一个重要的挑战。传统的主观测试方法往往受到主观因素的影响,难以准确评估音画同步的质量。为了解决这个问题,针对业界已有的客观测试方法做了一定研究,并在研究基础上针对音视频的时间戳同步的方法及抗音频干扰上进行了进一步优化并应用落地到日常测试中。

文 | 许旺灿
来源:网易云信
原文:https://mp.weixin.qq.com/s/OPdDRjuzkl0AJGdPUAteow

01 概述

随着移动互联网的普及和网络带宽的提高,音视频通话越来越成为人们生活和工作中不可或缺的一部分。音画同步是音视频体验的一个重要指标,在音视频传输过程中,由于不同的传输策略因为网络的干扰,音频和视频往往难以同时到达,即使在网络层面对齐后在设备侧音频播放和视频渲染也存在一定的时间差,从而导致音画同步问题的产生。为了解决这个问题,需要对音画同步进行客观的测试,以便更好地评估音视频通话的质量。

02 业界方法调研

评价标准 

关于音画同步,业界有 3 个标准,其中影响力最大的是 ITU-R BT.1359。

  • ITU-R BT.1359(1998):国际电信联盟标准
  • ATSC IS/191(2003):美国的数字电视国家标准
  • EBU R37(2007):欧洲广播联盟标准
音画同步测试方法的研究与实践
音视频同步评价标准
  • 无法感知:-100ms ~ 25ms
  • 能识别:–125ms & 45ms
  • 不可接受:小于-185ms & 大于 90ms

其中负值表示画前音后;正值表示画后音前。

 主观评估 

主观评估的主要思想是人工观察和评估音画同步状况,并根据个人主观感受和经验来做出评估。在音视频通话中典型的测试方式是一个人数数,另一个人观察对方的口型和听到的声音是否一致,故音画同步在音视频通话场景又名唇音同步。当然也有改良版本,通过播放一些标准的音画同步测试视频来代替数数,从视频内容的中辅助观察着去尽可能减少和量化个人主观评估影响,参考测试视频可点击观看:

https://www.bilibili.com/video/BV1Bk4y1z78S/?spm_id_from=888.80997.embed_other.whitelist&vd_source=579ab4465e31fb6c813e4a0d30e0b197

主观评估方法的优势是相对容易实现和控制,同时可以准确反映用户体验和情感反应。但是其劣势也比较明显,主要包括:

  • 受测试者主观因素的影响,不同的测试者可能会有不同的主观感受和评估标准,导致结果的不一致性和不准确性。
  • 测试可重复性差,主观评估方法往往难以量化和标准化。
  • 测试时间和人力成本高。

 客观评估 

客观评估方法的核心思维是通过音视频内容识别的技术来定义用户实际看到的和听到的内容,再针对内容进行对齐通过获取到的时间戳的差异来评估客观的音视频同步时延。

关于测试视频的准备音频一般采用信号音,视频图像内容上增加数字标签,两者有做好对应关系维护,以保证发送端是完全同步的,在接收端通过信号音&OCR 识别技术进行音视频的内容判断&对齐。

音画同步测试方法的研究与实践
客观测试组网

03 应用实践

基于前面的调研,在实验室内部进行了落地,并在落地过程中针对遇到的一些问题进行优化。

 测试环境 

1. 设备列表

音画同步测试方法的研究与实践

2. 测试组网

音画同步测试方法的研究与实践

 优化方案 

1. 测试素材制作

困难&优化方案:

  • 传统的信号音方案容易被音频 AI 降噪算法消除,导致在音频特征分析时无法被准确识别。优化方案:使用正常的语音替换信号源,优化音频内容识别方案。
  • 视频标签 OCR 识别高分辨率下开销大且会测试干扰内容。优化方案一:固化测试环境及视频标签所在位置,对输入视频进行 crop 处理,局限性较大。优化方案二:使用二维码替代数字视频标签,实际测试 resize 到 360P 均能正常识别,且不受位置和内容干扰。

2. 音视频时间戳对齐

困难&优化方案:

  • 音视频时延实现逻辑差异,无法正常实现时间戳对齐。优化方案:基于发送端时间戳天然对齐的基础,将时延计算基于发送端实现,减少接受端对齐操作。
  • 音视频采集卡采集延时不对等引起测试结果的误差。优化方案一:预先评估设备采集误差,处理数据的时候消除该误差。优化方案二:将发送端和接受端基于归一到同一个采集卡,多路同时采集,时延计算时误差天然消除。

3. 结果准确度提升

困难&优化方案:

  • 受网络及测试规格的影响,接收端无法保证内容的完整性,经常会出现无法找到音视频的标签对应的点。优化方案:增加音频&视频采集时间戳对齐逻辑,同时在时间戳差异较大时增加音视频主动向后查找逻辑。
  • 音频必须持续一段时间才能评估时延,而视频仅需一帧图像即可输出时延。优化方案:视频时延增加窗口逻辑,保证和音频统计间隔一致,基于窗口内的数据平衡处理后计划音视频时延。

04 成果

在实验室弱网评测引入音视频同步指标,量化了音视频同步情况,挖掘了多个弱网场景下音画同步明显劣于竞品的问题,在推动内部优化后,目前该指标从明显落后于竞品已初步超越竞品。

音画同步测试方法的研究与实践
竞品对比数据

05 未来规划

  • 优化现有音视频同步的阈值,音视频通话场景下用户真实体验的容忍度实际比[-90,185](音频-视频)的范围是更高的。
  • 用户综合体验指标研究:评测过程中发现部分场景下竞品会选择适当牺牲音画同步效果,保证音视频的实时性。这种时候单一的评估结论不具备特殊意义,需要通过综合表现来评价最终的用户体验

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(1)

相关推荐

  • 音视频同步原理及实现

    本文主要描述音视频同步原理,及常见的音视频同步方案,并以代码示例,展示如何以音频的播放时长为基准,将视频同步到音频上以实现视音频的同步播放。 1.音视频同步简单介绍 对于一个播放器…

    2022年12月19日
  • FFmpeg 播放器实现音视频同步的三种方式

    前文中,我们基于 FFmpeg 利用 OpenGL ES 和 OpenSL ES 分别实现了对解码后视频和音频的渲染,本文将实现播放器的最后一个重要功能:音视频同步。 老人们经常说…

    2022年6月19日
  • 音视频学习–音画同步

    上周和新入职的测试小姐姐一起讨论一些问题时,被问“音画同步”是怎么回事儿,要怎么验证,巴拉巴拉解释了一通,在此也形成一个笔记,分享有需要的人。 音视频同步 音视频封装是将音频和视频…

    2023年9月5日
  • 从浅到深掌握音视频不同步问题!

    这几天在搞mp4的时候,看到的一篇对音视频不同步的好文章,在这里分享给大家! 音视频同步的基本概念与重要性: 1.1 音视频同步的定义与影响 音视频同步(Audio-Video S…

    2023年11月11日
  • 实时音频同步(第 1 部分)

    实时同步技术错综复杂,它一直是一个令我着迷的课题。今天,我想与大家分享我构建一个系统的方法,这个系统可以在位于不同物理区域的设备之间实时同步音频。 试想一下,我们在一个家庭的多个房…

    2024年5月30日
  • Android ffmpeg音视频同步

    前言:在实现视频和音频的播放过程中,其中最大的问题是音频和视频之间的播放速度如果没有同步,视频按照解码的速度,以最快速度进行了上屏,那么很有可能会出现视频播放完后音频还在播放的情况…

    2023年2月18日

发表回复

登录后才能评论