声网&全民K歌 打造低延时、高音质、神同步的心动对唱

全民K歌是国内领先的移动K歌娱乐社交平台,通过泛娱乐、场景化、社交化等方式给数亿热爱音乐的用户带来一个集“唱、听、看、玩”等体验于一身的立体化K歌娱乐产品。全民K歌拥有心动对唱、全民抢麦、实时合唱、K歌王者等众多互动K歌玩法,深受年轻用户的喜爱。

心动对唱是全民K歌内用户最活跃的玩法之一,用户可以先选一首歌,随后快速匹配在线玩家进行一对一合唱。该玩法将社交与K歌强结合,实现用户“以歌会友”的社交互动需求,对平台而言,K歌与社交的结合也有利于提升用户活跃性,增加用户留存。

全民K歌作为腾讯音乐出品的K歌软件,拥有天然社交优势,心动对唱也自然受到用户的青睐。这其中,声网为其提供了1v1对唱的解决方案,助力全民K歌用户实现合唱延时低、歌词实时同步的心动对唱体验。同时,双方也将针对K歌场景打磨更多的专属场景音频能力和算法,例如超低延时AI-3A、虚拟声卡2.0,智能混音算法等,共同为用户打造顶级K歌及合唱体验。

声网&全民K歌 打造低延时、高音质、神同步的心动对唱

端到端延时最低至85ms多端对齐强同步

心动对唱还原了线下KTV朋友对唱的体验,玩法类似歌曲接龙,该场景中无观众加入,演唱两人分段接唱,每个预设的片段通常包含连续的几句。A和B演唱顺序提前预设好,轮流开麦配合伴奏演唱,如此往复。

用户A到B之间的端到端延时是影响对唱体验的重要指标,结合声网自研的SD-RTN™传输网络,以及声网通过对音频在采集端/播放端、网络传输层面以及编解码等环节的延时优化,实现了最低至85ms的端到端延时,有效保障了对唱环节中的超低延时。

同时在心动对唱中,对伴奏、歌词、人声的多端对齐有着很高的要求,声网的解决方案通过在歌词同步中从发送到接收增加时间戳一致字段,可以实现伴奏、歌词、人声多端精准同步,做到1/1000 秒级误差控制,保证用户端最佳听歌体验。

深度拆解每项技术指标造就极致K歌体验

秉持着以用户体验为中心的原则,全民K歌对心动对唱场景中关系用户体验的技术指标进行了深度拆解,对其中每一项都做出了严格精确的定义。通过与声网的合作,双方持续打磨与调优,不断探索超低延迟场景下最极致的用户体验。在这一系列指标中,音频丢包卡顿率和端到端延迟(RTT)是两个最核心又相互冲突的项目。

音频卡顿率代表了在实时音视频场景下,用户听到音乐的流畅性和稳定性,同时卡顿也会对音质产生较大的影响;端到端延迟代表了互动过程的实时性,在心动对唱场景下,会影响两端用户之间互动过程的流畅性和对延迟的感知度,在超低延时下可以做到用户对延迟的体验无感知。

实时互动中,音视频数据包在传输过程中难以避免网络出现异常,进而引起数据包传输耗时的随机抖动。因此,接收端需要留有一定的接收队列冗余,用于应对数据包到达时机的随机性。越小的冗余可以带来更低的端到端延迟,但同时会引起更差的丢包卡顿率,反之亦然。

为了能同时优化这两个指标,将技术的边界向极致的目标再推进一步,全民K歌与声网一起在整个链路的多个环节同时优化,包括但不限于:1、行业领先的SD-RTN™传输网络和更智能的接入节点分配;2、行业领先的音频编解码和带宽分配算法;3、延迟更低、效果更好的基于AI内核的先进3A。在双方的携手技术攻坚及极致打磨下,各项技术指标不仅做到了行业领先,心动对唱也成为广大粉丝的K歌“必玩场景”、“首选玩法”,不少粉丝表示,“该玩法实现了K歌社交两不误,一唱就停不下来”。

协同打磨更多技术难点 追求极致K歌用户体验

经过在心动对唱场景的打磨,声网的技术与服务得到了全民K歌的好评与信赖。未来随着合作的进一步深入,声网与全民K歌也将协同打磨更多K歌专属音频能力和算法,为用户带来更纯净、更高音质的K歌体验。例如:

超低延时 AI-3A

如何在保障超低延时的前提下取得优秀的音频3A处理效果,一直是行业面临的技术难题。具体到实时合唱领域,该问题更成为了外放K歌模式进行商业普及的重大难题。

最新版本的声网凤鸣AI引擎使用了最前沿的AI技术,在提升该场景下的回声消除、环境噪声抑制效果的同时大幅降低了凤鸣AI引擎的处理延迟(最大降幅超过90%,当前最低延迟12ms)。实现了在外放K歌环境下,更完整更纯净的人声分离,合唱频道内无干扰,用户听觉体验更佳。

虚拟声卡2.0

声网虚拟声卡2.0 通过专业算法对用户声音进行优化和转换,可以让用户在没有硬件声卡的情况下,使用软件模拟声卡的功能,替代传统声卡高成本及复杂的调整链路,实现音质美化、音准修正、对轨矫正。

智能混音算法

该算法可以根据用户的演唱表现,实时调整每一位玩家的混音比例,突出美好的声音,让合唱效果更和谐而完整。尤其是线上多人合唱场景下,如党建团建大合唱等,基于声网 SD-RTN™ 端到端超低延迟,保证每一个演唱者得到更流畅、更自然的实时互动体验。

音频编解码

声网自研的前向纠错编码和冗余编码实现了业内领先的 RTC 端到端延迟。在合唱、对唱等场景下,声网通过更强的弱网对抗技术保障更极致的用户体验。

此外,声网自身的在线K歌场景化解决方案,拥有海量正版曲库,覆盖95%+全量华语曲库,2.5h快速构建合唱、抢唱、接唱等多种K歌互动场景。

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论