音视频云端一体助力体验升级和业务创新

随着音视频和AI技术的发展,在满足用户基础体验和需求情况下,更极致的用户体验和更丰富的互动玩法,成为各个平台打造核心竞争力的关键。LiveVideoStackCon 2022 北京站邀请到火山引擎视频云华南区业务负责人——张培垒,基于节跳动音视频业务实践沉淀,介绍音视频云端一体解决方案如何助力用户体验升级和业务创新。

文/张培垒
编辑/LiveVideoStack
原文:https://mp.weixin.qq.com/s/CAq5NEBRL1T621RXnsDb_A

大家好,我是火山引擎视频云商业化方向华南区的业务负责人,张培垒。

火山引擎视频云去年发布了音视频云端一体解决方案,来帮助音视频企业一站式构建抖音同款的音视频能力。

传统的视频观看调优场景中,遇到卡顿黑屏等问题,进行线路调整时通常比较粗粒度,比如只能针对云端CDN线路、特定片区或者运营商的线路调整,精度很难把控。我们在集团内部经过长期的经验积累,形成了一整套的云端一体化的联动、协同的体系,它由终端SDK,即埋点技术、策略调度中心、训练引擎,可以针对用户行为进行打标,最终结合A/B实验通道实现。

-01-行业趋势与挑战

接下来进一步阐述,云端一体化在商业化场景中的实践和具体的优势。

首先,为什么要做云端一体化?

图片

音视频行业随着移动互联网传输的发展,从早期的播放顺畅发展到现在更多的追求极致体验,主要体现在四个方面:

  • 观看顺畅的追求,短视频和直播场景下越来越追求首帧的加载,feed流切换的平滑。我们此前在短视频实践的分享中,100ms以内用户是没什么感知的,到210ms会出现一个拐点,一旦超过300ms用户离开速度会快速增加。
  • 清晰度上的追求,世界杯中抖音也是大面积尝试了超分,并且取得了不错的市场反馈,一旦尝试了超分的视觉体验后,再去看普通的1080P,就会觉得非常寡淡乏味。
  • 互动实时性,在抖音日常进行的赛事直播和互动直播中,我们都大面积的运用了低延时直播和RTC,低延时直播保障了观看的及时性,RTC的互动性,保障了互娱直播间的乐趣。
  • 沉浸,包括声音和视觉两方面,目前各家都在推出自己的VR/AR方案。我们也在PICO中不断优化升级,在RTC场景,如在游戏中感知队友的方位,运用空间音频技术进行定位。图片

除了行业的方向,不同的业务的发展,也会经历不同的阶段。

针对初创期的业务,人力投入和买量投放是关键阶段,开发人员在此阶段通常面临着多模块之间进行拼凑的难题,比如同时需要RTC、美颜、剪辑,多模块对接时的SDK组合非常复杂,对接周期以月为单位。

一旦业务稳定后,这里的主要目标就会变成体验的优化,抖音内部面临秒开、首帧优化等体验优化的挑战,如何平衡业务体验和业务增长的关系也是重要的课题。

业务发展的成熟期,目标会更多转向降本增效,在降低内部的运营成本,增加日常维护和运维效率的基础上,同时探索新的业务方向。

-02-云端一体业务实践

为了适配行业和业务的发展发向,如何借助云端一体化构建自己的业务呢?

图片

图中是整个云端一体化的阶段:

针对初创期的业务,也就是从0-1构建业务的阶段,提供了一站式的全链路方案,覆盖内容的生产、服务、消费。

  • 生产端,我们提供基于短视频的拍摄剪辑制作,即抖音剪同款的能力。基于直播的实时音视频采集、推流,以及视频的二次渲染特效,音频的特性能力。最终采集到的音视频被传输到云端
  • 服务端,云端的服务能力分为三个场景:
  • RTC场景,将音视频合流录制后进入房间,大大降低用户的使用成本;在一些线教育客户中,将RTC房间的流转推到直播,我们提供服务端的转推场景。针对链路的优化,我们进行了弱网的优化,包括UDP防丢包策略。
  • 视频直播场景,可以做到云端的时移、转码、录制,分发一体化
  • 点播场景,具备媒资的管理、处理、分发、审核的能力。
  • 消费端,借助抖音集团生态下的播放器能力,嵌入SDK后即可具备秒开,零首帧,超分,265等能力。图片

除了业务模块的能力以外,结合C端用户的业务场景,提供了丰富的demo,如互动直播、电商直播和远程会议。目的是便于业务方快速集成,开发人员可以基于demo的源码快速构建业务。源码中的api覆盖了几乎所有常见的终端能力,最常见的是RTC和美颜的打通,直接调用美颜的api进行视频采集和二次渲染,极大提升了采集、渲染、传输联动式的一体化效率。整个demo里面把多端的能力融合,包体容量也可以根据需求做最小化的裁剪,帮助业务快速上线、验证。

图片

在业务快速上线后,体验的优化会成为这一阶段的重要目标。此时,需要具备QoS/QoE体系,在我们的整个云+端体系中,对应有完整的数据体系,让业务开发者省去了数据上报、采集、治理的流程。可以直接借助全面的QOS指标来进行A/B实验,比如在点播场景的优化中,上传协议分为A/B采样组,A组使用QUIC,B组使用TCP,端侧实时观测首帧时间以及播放时长的指标情况,最终根据A/B实验结果进行快速策略调整。

同样,在观看直播分辨率的过程中,根据用户观看分辨率的集中性,来针对性修改转码的模版,什么样的终端适配什么样的分辨率等等。这里做的大量的QoS以及QoE的验证,都会沉淀为我们云端的服务策略,最终的体现就是,火山引擎视频云播放的策略、转码策略、存储沉降的策略都会非常适配业务的实际需求场景。

图片

经过长时间大范围的A/B测试,我们积累了非常丰富的视频体验数据:

  • 直播延迟vs播放时长:直播延迟每增加4s,终端用户的播放时长会下降1个百分点;
  • 画质vs播放时长:开启720P超分后,时长增加2个百分点;
  • 编码优化vs播放时长:在采集、转码、解码全链路使用自研的BVC算法后,播放时长增加了5个百分点;
  • 卡顿率vs播放时长:降低卡顿率带来的播放时长的正向增长;
  • 首帧vs播放时长:短视频的feed流首帧时间在超过210ms以后,用户的留存会快速下降;
  • 成本vs收益:视频渲染,成本增加的同时带来业务增长。
图片

业务发展到成熟阶段,降本增效就会成为主题,我们自己和很多外部客户在这一阶段会经常抱怨,当终端侧用户不断反馈卡顿、黑屏的问题时,我们很难在云端协助排查,最多提供客户端IP和运营商地址信息,很难准确定位到出现问题的播放阶段。

采用云端一体化方案后,很大程度解决了这一问题,将质量平台与终端和告警系统打通,精细化的追踪到生产端、服务端、消费端的指标数据。可以基于用户请求的session粒度追踪到问题存在的阶段,并采取针对性的策略调整,同时解决了质量优化和运维投入的矛盾,提高了问题定位的效率。

下面是几个具体的case:

图片

第一个是在问题排障过程中的智能归因,根据终端播放失败的趋势对比,归因分析到是单用户问题还是聚集性问题,结合云端的线路错误码做进一步的趋势预判,错误的运营商,地区分布等,对比没有云端协调一体化的手段下,极大降低了排障时间,实现分钟级定位。

图片
图片

第二个是单点追查,基于单用户和Session级别的问题定位,追踪到问题环节,每个环节都能够展示较详细的错误信息。进一步细分播放详情,如首屏时长细分为加载数据、预处理、播放器准备耗时、整个播放环节的播发码率和终端的下载速度情况。终端播放时的每次事件记录,以及事件发生的持续时间也都有记录。

最终用户投诉的解决效率提升50%。

图片

效率提升后,另一个课题就是业务创新,我们融合了多种玩法,包括互动特效、AI算法、配套丰富的素材和工具,提升内容创作者的效率和成功率,最直接的体现就是在抖音业务上。

主要有几大模块组成:

视频创作,大家熟知的抖音拍同款、剪同款,各种特效,智能字幕,能够根据视频中说话的声音自动生成字幕并进行多语言翻译、BGM授权,我们购买了丰富的版权方素材,方便智能创作者生成背景音。

算法模块,达到一定的渲染效果需要算法积累,可以基于面部,手势,肢体,甚至是情绪和特征做点位识别,也就是日常大家抖音观看过程中的,给拍摄者增加笑脸,脸萌特效,增加了视频的趣味性,还有渲染模块,包括虚拟形象,AI小游戏等。

图片

最终这些业务运用到不同的创新场景下,比如我们有些客户做医美、微整形的效果体验, 电商场景下的基于人脸点位的AR试妆,在线教育下设计与课程相关的动画、特效,增加趣味互动性,视频直播场景下的视频美化,增加1V1场景中的观看时长。

-03-音视频云端一体解决方案veVOS

最后基于以上几个阶段的最佳实践,总结一下抖音同款的音视频云端一体化解决方案veVOS。

图片

整体框架由底层的云端服务作为基座,针对RTC场景的下的音视频通话传输网络,视频后处理,弱网优化等,针对直播下的转码、分发录制,针对点播的媒体处理和分发。

客户端打包丰富的SDK套件,包括RTC音视频的采集、播放器、视频制作、特效、直播的SDK等。全链路配备质量平台监控,保障QoS和QoE,底层通过策略平台来进行相对应场景的策略调整。

应用场景从在线音视频到社交娱乐、媒体资讯及在线教育。

图片

通过去年到现在商业化的情况对比,云端一体化方案取得了非常不错的效果,总结主要优势点如下:

  • 一站式方案,简单上手,传统的RTC场景客户对接到上线需要4-7周的时间,而一站式方案从接入到上线业务,时长缩短到2周,SDK的集成更是2天即可完成。
  • 通过完善的质量和体验监控,能够不断优化QoS和QoE,用户在集成方案后,视频秒开率和用户播放时长有了显著提升。
  • 集成很多创新玩法,在云加端的背景下,配合多个SDK孵化出了一起看抖音短剧,配合美颜贴纸,打造了脸萌社交场景,为客户制造很多新的增值服务。
  • 依靠亿级DAU产品,也就是抖音的打磨,不断发现很多未知的问题,机型也做了最大程度的兼容,是业界领先。
图片

最后,希望更多的业务合作伙伴体验云端一体化解决方案,希望抖音集团内部的科技创新能够助力用户体验升级和业务创新。

以上是本次的分享,谢谢!

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论