布朗大学的研究人员公布了一种名为 PackUV 的全新视频处理方法，他们将其描述为实现逼真、可存储的3D 体积视频的“关键一步”，这种视频可以从各个角度观看，并且与目前互联网上大多数视频所使用的视频编解码器兼容，从而使其可以流式传输。
这项新型体积视频处理方法背后的团队表示，他们的技术可以在智能手机、电脑和智能电视等日常设备上实现实用的 3D 视频流，而无需新的显示技术，从而开启逼真 3D 视频娱乐的新时代。
3D体积视频提供了前所未有的多功能性和挑战
据布朗大学计算机科学研究生兼研究负责人 Aashish Rai 介绍，体积视频技术利用多台同步摄像机环绕目标场景进行拍摄。场景录制完成后，通过专门的算法重建三维空间中的位置。值得注意的是，新构建的体积视频可以从录制空间内的任何视角观看。
“有了体积视频，你基本上可以从任何你想要的角度探索场景，”Rai解释说，并补充说，捕捉三维加上时间维度实际上使最终的记录成为“ 4D视频”。
以这种方式拍摄视频，导演可以从传统拍摄技术无法实现的角度展现场景。理论上，这种视频可以与用户界面结合使用，让观众能够浏览场景，例如从赛场上观看体育比赛，或从舞台上观看音乐会。
不过，布朗大学的研究人员指出，一些挑战阻碍了体积3D视频的广泛应用。其中包括如何压缩视频，才能使3D体积内容的流媒体传输在当前的互联网基础设施和协议下可行。
Rai解释说：“体积视频的存储和流式传输极其困难”，他还补充说，一段30分钟的视频片段“可能会膨胀到TB级的数据，而且它的格式与互联网已经运行的基础架构——你的计算机、你的流媒体服务、你的视频编解码器——完全不同。”
将 3D 视频渲染到 2D“表面”上可创建可用于互联网的文件
为了克服阻碍该技术更广泛应用的障碍，布朗大学的研究团队首先研究了目前常用的3D场景渲染方法，即3D高斯散射法。根据该团队的声明，这种方法使用被称为高斯函数的“模糊斑点”来渲染3D图像，这些斑点编码了空间中点的颜色、不透明度和形状。
在新方法中，研究团队找到了一种将三维场景及其数百万个高斯分布映射到更易于处理的二维图像的方法。Rai 表示，这种方法类似于地图绘制者将三维地球投影到二维平面上，从而生成“结构化的多尺度图像”，该图像编码了原始动态三维场景中包含的所有信息。
接下来，团队将3D编码图像堆叠在一起。最终生成的视频文件大小比传统的3D体积视频要小得多，团队指出，这种视频“与Netflix、YouTube和互联网上大多数其他网站使用的主要视频编解码器兼容”。
“我们基本上是将整个 4D 场景转换成普通的视频，你可以通过互联网进行流式传输并与朋友分享，”Rai 解释说。
渲染场景最长可达 30 分钟而不发生故障
除了克服当前 3D 体积视频策略中存在的文件大小和流媒体限制之外，布朗大学的研究团队表示，他们的工作还解决了当前方法随着时间的推移而“崩溃”的趋势，从而限制了潜在视频的长度。
主要挑战在于追踪超出摄像头视野范围的物体，例如球暂时“消失”在对手身后的情况。团队表示，现有技术也难以处理“突发性移动”，例如有人在另一系列事件进行到一半时进入房间。
Rai表示，他们的方法通过将较长的视频文件“分割成小块”来解决这一限制。分割完成后，他们的系统会检查每个视频片段的开头，以确定是否有物体进入或离开画面。Rai说，PackUV做出判断后，会指示软件“据此进行建模”。
研究团队解释说：“通过更频繁地重新启动跟踪过程，这项新技术能够更好地重新获取暂时被遮挡的物体，并适当地处理新的运动。”他们还补充说，他们的方法可以无缝渲染长达 30 分钟的复杂 3D 体积视频场景而不会失败，“远远超过其他高斯喷射方法”。
3D立体视频或将影响娱乐、制造业及其他领域
为了验证他们的方法，布朗大学的研究团队整理出了他们所称的“有史以来规模最大的多视角视频数据集”，并将其公开提供给其他研究人员。该数据集涵盖了各种活动的视频，包括烹饪、木工和各种体育运动。
至关重要的是，所有收集到的数据集都是由 50 到 90 个同步摄像头组成的阵列采集的。Rai 的团队表示，这些数据包括在实验室环境中（专门配备摄像头）拍摄的动作，以及在“现实世界”中用移动摄像头阵列拍摄的动作。
尽管这项工作只是迈向观众触手可及的可流媒体 3D 体积视频的第一步，但 Rai 表示，他们的工作有助于推进一项具有丰富未来应用潜力的技术，其中构建现实世界的“数字孪生”对于无缝流媒体至关重要。
“例如，在娱乐和体育领域，以及其他领域——比如制造业——都有实际应用，在这些领域，你需要创建现实世界的数字孪生模型，”斯里达尔说。“从根本上讲，这就是这项工作的意义所在。”
Rai 将于 6 月在IEEE/CVF 计算机视觉与模式识别会议上展示其作品《PackUV: Packed Gaussian UV Maps for 4D Volumetric Video》。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/jishu/67179.html
