浅谈“自由视角”技术及其在体育赛事转播中的应用

本文主要介绍了“自由视角”技术和“VR 全景” 技术在采集、传输、呈现方式等方面的区别，对其在体育赛事制作和转播中的实际应用和影响进行了探讨。

来源：《现代电视技术》
作者：北京体育大学体育赛事制作与转播实验室李永祥

2021 年国家广播电视总局正式发布《广播电视和网络视听“十四五”科技发展规划》。规划明确了未来打造智慧广电新业态、新视听、新平台、新网络、新终端、新支撑的六大任务，下设13 个专栏，提出 70 个重要研究方向。

规划中强调，探索高新视频在重大赛事（活动）中的示范应用，推进高新视频技术在教育、健康、文娱、旅游、体育、会展、电竞、电商等领域的应用，实现互动化、全景化、全息化展现，发展新业态，带动新消费的总体要求[1]。

随着北京2022 冬奥会的成功举办，科技助奥成效显著，赛事的公共信号制作与转播新技术新形态层出不穷。5G、自由视角、VR/AR、数据可视化等众多新技术在赛场上得到验证并得以应用。其中，“自由视角”在冬奥会上的成功应用为观众提供了全新的观赛视角，提升了观赛体验。

本文将结合“自由视角”在体育赛事制作与转播中的实际应用，着重对比“自由视角”和“VR 全景” 技术区别，并阐述其在体育转播行业的影响。

“子弹时间”技术

“子弹时间”又称“时间凝结”，实际上是一种特殊的电影拍摄手法，直观感受就是在做出动作的一瞬间，时间仿佛停止了一样，通过视角的改变呈现，让观众有一种身临其境的感觉。让公众印象最为深刻的是在黑客帝国这部电影里，拍摄现场如图1 所示。拍摄原理基于相机或摄像机矩阵的应用原理，采用多台摄像机从不同角度，对同一场景、同一拍摄对象进行同时拍摄或是按顺序触发拍摄矩阵依次进行拍摄，强化高速慢镜头和时间静止效果，360 度呈现被拍摄对象[2]。

“自由视角”技术

“自由视角”实际上是在“子弹时间”的基础上而衍生出的一种交互式的视频观看方式，用户可以通过手机、平板以及电脑等设备切换不同的观看视角，最高可以实现360°无死角的自由观赛，用户可以通过自己的终端观看设备自己当 “导播”切换自己想要切换的视角而获得全新视觉体验。

“自由视角”技术的实现方式

“子弹时间”是拍摄时间静止时的360°画面，而“自由视角”是在视频拍摄状态下任意时间的 360°画面，提升了一个新的时间维度，其由采集、传输和合成三部分构成，拍摄系统基本架构如图2。

1. 信号的采集

“自由视角”的拍摄相比于“子弹时间”会更复杂一些，首先需要围绕拍摄场景搭建组成一个相机阵列，如图3 所示。统一调节相机的快门、光圈、曝光度等参数使每台相机拍摄的画面整体质量接近一致。

2. 信号的传输

对于采用工业相机拍摄“自由视角”的方案，一般通过视频流的方式将视频信号传回拼接渲染服务器进行合成，连接方式是每台相机通过RJ45 电口，采用CAT6 网线连接到交换机，交换机再通过万兆光口，汇聚回传到拼接渲染服务器上。

3. 信号的合成

“自由视角”拍摄的相机数量是有限的，相邻的相机之间存在一定的角度，我们在终端看到的画面如果是相机拍摄直接呈现，那么就会在我们滑动屏幕的时候出现卡顿的现象。为了解决这个问题，需要服务器将传输过来的各个相机的画面进行拼接，通过三维重建等科技手段将整个场景的画面渲染出来。

4. 拍摄“自由视角”需要注意的问题

（1）画面标定

“自由视角”的拍摄，相机在空间中的位置信息是至关重要的参数之一，通过多台相机拍摄画面空间位置的标定物，在后面渲染建模过程中算法会自主找到对应相机在空间中的坐标，因此这个参数对于最终的画面渲染及合成至关重要。

（2）相机同步

“自由视角”拍摄过程中画面无论是静态的还是动态的，都需要保证不同角度的相机同步进行拍摄，避免拍摄画面出现时间错位，保证渲染合成时画面的一致性。

（3）现场照明

“自由视角”拍摄现场的照度值及色温一致性虽然属于外在因素，但是对于“自由视角”的拍摄来说同样非常重要，虽然可以在相机端对参数进行微调，但是被拍摄场景不同角度的光线变化也会影响到最终的拼接合成。

“自由视角”与“VR 全景”的区别

1. 直播系统架构差异

从图4 和图5 可以非常明显地看出，“自由视角”的直播系统相对于VR 全景直播系统会更复杂一些，主要体现在信号的采集以及信号最终的合成渲染环节，“自由视角”的信号采集需要架设非常多的摄像机，施工成本更高，效率更低。VR 全景的拍摄，相较于“自由视角”设备更成熟，一体化的设备，拍摄、合成、推流均可在机器内部完成，提高了现场拍摄的效率。

2. 采集端差异

大众对于“自由视角”和“VR（Virtual Reality，虚拟现实）全景”概念不是很清楚甚至会混淆，而实际上两者是有着本质的技术差异，就采集端而言：

◆“自由视角”视频的拍摄，如图6 是在被拍摄物体的四周一个平面多个角度架设多台常规相机组成相机矩阵进行拍摄，不同相机拍摄相同场景，每台相机拍摄的画面都有一些差异如图7，最后经多帧叠加后形成一段流畅的视频画面；

◆“VR 全景”视频的拍摄是在被拍摄场景内一个位置通过全景相机或多台相机拼接对场景内三维空间所有角度拍摄而合成的画面，其拍摄示意图如图8 所示。 VR 相机的每个鱼眼镜头拍摄的画面最终经渲染缝合最终输出完整全景画面，每个镜头拍摄的画面效果如图9。

3. 呈现端差异

（1）3Dof 和6Dof 的区别

搞清楚两者区别之前，先要明白什么是Dof，Dof 是Degree of free 的英文缩写，中文意思就是自由度。 3Dof 就是3 个自由度，是指能够在X、Y、Z 三轴上旋转的能力，一般实现的方式是通过陀螺仪来捕捉用户头部旋转动作，并呈现全景画面中相对应的部分。 6Dof 就是6 个自由度，除了具备在X、Y、Z 三轴上旋转的能力之外，也具备在X、Y、Z 三轴上移动的能力，如图10。

（2）“自由视角”呈现方式

“自由视角”呈现端目前来说一般为可触控的或可交互的终端，如手机端可通过手指左右滑动屏幕改变不同角度观看画面，而电脑端采用鼠标左右点击或者拖动的方式调整不同的角度进行观看。

（3）“VR 全景”呈现方式

“VR 全景”呈现方式，一般采用VR 全景眼镜或者头盔观看，观众戴上后自由改变观看角度，而显示屏会调动机器内部的陀螺仪改变显示不同角度的画面。 FOV（Field of View）是人眼的可视角范围，一般在90°至110°之间。当前端拍摄的VR 视频分辨率为30K×15K，假设人眼的左右可视角α 和上下可视角β 均为90°，且不考虑终端显示屏幕的影响，则可计算得到终端恢复后的360°球体视频进入单眼的实际分辨率约为8K。

当前端拍摄VR 视频分辨率为8K 时，计算可得实际进入单眼的观看分辨率约为2K，基本接近高清的画质，因此本白皮书建议目前拍摄制作VR 视频的最低为7680×3840 像素[3]。

就实际的体验而言“自由视角”和“VR 全景” 相比较，“自由视角”更像是“观察者”的角度，“VR 全景”更像是“参与者”，“自由视角”有更强的交互性，“VR 全景”有更强的沉浸感。

“自由视角”技术在体育转播中的应用

2021 年4 月份，北京冬奥会测试活动冰球比赛在国家体育馆举办，技术团队在国家体育馆U 型架上部署40 台相机，在移动端进行效果的呈现。 2021 年5 月份，北京体育大学体育赛事制作与转播实验室联合华为在北京体育大学冰上运动中心，在冰球场四周架设100 台相机拍摄冰球比赛的“自由视角”。 2022 年2 月, 冬奥会北京国际云转播科技有限公司在张家口赛区云顶滑雪场的自由式滑雪空中技巧、 U 型场地技巧2 个比赛场地提供自由视角制作服务，共完成5 场空中技巧比赛、8 场U 型池场地比赛，共计13 场比赛公共信号直播制作[4]。

“自由视角”技术对体育行业的影响

1. 对科研训练的影响

“自由视角”技术将会成为教练和运动员动作训练纠正的新方式，对于跳高运动员来说，起跳和落地的瞬间都非常快，日常的训练动作运动员自己观察不到，教练也很难去准确拍摄其中的动作进行讲解和纠正，“自由视角”的呈现方式，可以让运动员及教练从不同角度不同时间点逐帧去回放和暂停，对于运动员训练效果的提升有非常大的帮助。

2. 对赛事裁判的影响

“自由视角”多角度的自由观看方式，可以帮助裁判员处理“争议”，比如在球类比赛中，对于压线、出界球的判定上，可以通过“自由视角”技术的定格、多角度、逐帧等方式去回放视频从而去判定争议，并通过视频回放的方式在赛事直播中还原球类等物体的实际运动轨迹，将结果展示给球员及教练组，甚至可以展示给现场以及线上观赛的观众们。

3. 对赛事转播的影响

“自由视角”的终端呈现方式丰富了观赛体验，使得原本平面的视频更具立体感和交互性，多角度观看让原本固定死板的画面变得更灵活，从原本的拍什么看什么，变成现在的想看什么就看什么，观众从被动接受变成主动获取。

总结

“自由视角”和“VR 全景”从技术层面来讲是有区别的，并且“自由视角”在体育转播中的应用目前来看还存在一定技术瓶颈，受限于服务器算力影响， “自由视角”的拍摄需要大量服务器进行采集、合成、输出。因此在直播过程中，很难合成渲染实时高码率多角度视频的回放输出，并且还面临着安装的相机数量多、安装难度大、走线复杂、标定繁琐等众多问题，无法做到快速部署并进行拍摄。

随着5G 网络覆盖范围的不断扩大，5G 核心网的持续完善，MEC（Mobile Edge Computing，移动边缘计算）的广泛部署，以及“自由视角”这项技术在体育赛事制作与转播中的成功应用，相关技术逐渐成熟并取得长足进展，让“自由视角”的采集更为轻量化，数据处理速度更快，传输延迟更低，使得体育比赛的呈现方式更为丰富，观众欣赏赛事的方式也会更加多样，体育赛事的交互性和沉浸感为观众带来全新感受的视听盛宴。

参考文献：

[1] 周屹, 周耀平, 欧阳玥.《5G 高新视频- 沉浸式视频技术白皮书(2020)》解读[J]. 广播与电视技术,2020,47(11):21-25.

[2] 王灵. 时空凝结1.0 拍摄系统的技术架构及应用[J]. 影视制作,2021,27(09):45-47.

[3] 魏娜, 郭晓强, 王强, 胡潇.《5G 高新视频-VR 视频技术白皮书(2020)》解读[J]. 广播与电视技术,2020,47(11):26-31.

[4] 崔涛, 曹岱宗, 张昭. 自由视角技术冬奥应用及对赛事转播的影响浅析[J]. 广播电视信息,2022(S1):75-78.