主体分割与传输技术(实时互动RTI能力系列篇4)

线上通讯浪潮来临，个性化需求增加

近些年随着线上通讯需求的增加，关于线上社交、网课学习、在线娱乐等繁多的应用场景，对于通讯质量的要求不断增加，除了音质、画质、稳定等基本的技术硬实力外，越来越多个性化、精细化的需求加入到实时互动浪潮中来，例如，背景替换与虚拟背景。

以游戏主播为例，主播一边共享自己的游戏画面另一边开启自己的摄像头和观众互动已经成为当今的主流玩法，游戏直播的内容固然重要，但主播和观众良性的互动更能降低观众的流失率，然而游戏主播的直播地点大多都在自己的家中，对隐私保密有着一定要求，通过虚拟背景的更换，一方面可以很好的保护主播隐私，另一方面可以让主播置身于虚拟游戏场景，或者电竞场景，观众端的观感体验也会更加良好。

由此可见，线上通讯浪潮带来需求的增加，提供个性化功能与服务是各平台亟需补足的地方。

共享时空，即构发布主体分割能力

ZEGO 即构科技在本次实时互动 RTI 升级的视频能力提升篇中，正式对外推出主体分割与主体传输能力 —— 使用 AI 能力将画面中的主体从原视频中分割出来，将主体外的视频区域填充 Alpha 信息，编码后在RTC网络中传输，实现视觉上只传输主体的效果。拉流端可以将多个主体渲染到统一的画面或者 3D 虚拟场景中，让观众可以观看到同一画面中不同地区下的人或物的集合。

ZEGO 即构科技发布的主体分割能力为客户端主体分割，具体可以细分为两种：实景分割、绿幕分割。

实景分割

实景分割是指将主体从实际场景中分割出来，这种实现方式对于主体所处的环境没有太多的要求，用户可随时随地使用。ZEGO 共选取了机场、客厅、办公室、卧室、火车站、剧院等 40 种场景，数万张室内室外图像作为背景数据，从而避免算法过拟合。

因部署平台对功耗、性能的限制，抠图算法往往需要轻量化。而轻量化后的算法通常只包含极少的参数，泛化性能也会出现不同程度的下降，那么在对连续的视频帧进行抠像时就会受到光照和编码压缩的影响，从而出现闪烁效应。即构采集了大量真实数据，制作了 10万+ 规模数据量的大型视频抠像数据集，包含了各种光照变化、各种码率、各种分辨率的视频数据，从而减少闪烁效应的发生。

ZEGO 使用了大量的视频数据作为背景数据，在训练过程中，随机选择背景和前景主题进行叠加，并通过随机颜色偏移、随机灰度化、随机仿射变化、随机高斯模糊、随机噪声进行数据增强，从而降低真实场景中动态对象对抠图效果的影响。

ZEGO 在算法中参考了前后帧的帧间关系，将一连串的视频时序关系嵌入到算法中，使用上一帧的隐式信息限制下一帧，最终达到主体的出现和消失都具备淡入淡出的效果，极大的提升了视觉体验。