客户端实时超分，提升画质/码率的超级利器(实时互动RTI能力系列篇)

在短视频、直播、社交等并进的互动时代，“得画质者得人心”，超高清成为越来越多用户希望可以享受到的画质核心体验之一。

不管是音视频内容的生产商还是服务商，极致的画质体验已经成为获得用户注意力资源的武器，画质越好整体的业务时长就会增加已经毋庸置疑。

因此，打造画质能力也已成为兵家必争之地，那么极致的画质体验如何突破？

客户端实时超分画质/码率增益明显提升

目前一个热门的解法就是客户端实时超分——在手机、平板电脑等移动设备上，通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果，弥补设备硬件、网络带宽、原始素材等客观条件限制，进而获得高画质的图像和视频。

那么何种场景适合使用超分？可以简单理解为用于想提升画质，却又受到某些限制的环境。具体分为以下几类：

网络环境受到限制。对于网络环境压力大的地区，选择超分提升画质档次，避开网络的限制；

硬件条件受到限制。摄像头无法提供高分辨率、推流端的性能不够编码更高分辨率的视频；

购买成本受到限制。期望提升画质，但是对应的分辨率/带宽/流量档位价格太高。

尽管端上实时超分对画质及码率的增益明显提升，但受限于移动端算力、算法功耗、多机型兼容性等问题，在移动端上部署实时超分技术面临挑战。

在资源受限的移动端，基于深度学习的自研超分、自研去编码效应，对比业界 SOTA 及友商，模型大小相当时，即构自研的客户端实时超分，在本地边播边超分，实现画质清晰度从540P 到1080P的华丽转身。

以下展示数据均为即构客户端实时超分的实测运行能力：

更快——极低功耗，极低耗时

即构客户端实时超分，模型大小仅为12KB，不占空间；整体功耗低至~60mA/h。
极小超低轻量级模型，仅0.69G FLOPs，我们在 Set5 中的PSNR/SSIM 可以达到36.898/0.9554，在此运算量下，几无对手。

更低——低延迟，高帧率

低至20ms以内的处理延迟，以及高达30fps的帧率。（高通骁龙845）

更好——超高画质体验

在本地将实时画质的分辨率放大两倍（x2），比如将 540P 超分成 1080P，在移动端可将视频分辨率增强至最高1440P，同时进行去编码块效应、智能锐化、抗锯齿、基础降噪等提升，极大改善观看体验。

更广——多平台多机型兼容

支持跨平台使用，机型覆盖更广，支持 3500+ 种机型，在iOS系统和安卓系统环境下均无缝连接，国内 Android 设备覆盖率为 70%，iOS 设备覆盖率为 90%。

减少CDN流量消耗，降本增效。首先，使用客户端实时超分可以减少数据下发过程中CDN的消耗，实现降本提效。

画质增益显著，终端客户体验升级。当客户端网络不稳定或者带宽受限，导致视频播放卡顿时，端侧超分技术可以让终端用户的浏览体验更顺滑。超分后的画质更清晰、纹理细节更细腻、文字更清楚，不会出现画面脏及过度曝光的现象，主观视觉舒适。

场景适用丰富，助力业务时长增长。目前，即构科技已可以在 1v1视频通话，秀场直播、电商直播等单主播场景，低分辨率场景，智能硬件，跨端通信等场景接入超分，在用户活跃、留存、使用时长等指标上带来明显助力。

当前的互动时代，远不止画质等信息的“通信”传输，更强调的是：共享时空，实时互动。除了客户端实时超分，主体分割与传输、场景化降噪、范围语音、万人状态实时同步……即构正不断打磨极致音画质，助力客户搭建无限玩法/场景，共建实时互动的世界。

免费体验实时超分功能：https://doc-zh.zego.im/article/16331

本文为原创稿件，版权归作者所有，如需转载，请注明出处：https://www.nxrte.com/jishu/4530.html