在大规模体育制作中使用数字人 | IBC 2023

主流体育网络尚未广泛采用数字人和数字角色来重新创造足球比赛的 3D 游戏。然而，一些体育网络已经开始探索利用 Unreal Engine 等 3D 引擎的好处，通过虚拟背景、增强现实图形和动态图形来增强他们的报道。从 2022 年 FIFA 世界杯的报道得知，一家网络将 Unreal Engine 的可能性推向了一个新的高度，部署数字人来创建高度逼真的互动虚拟游戏表现，为观众提供比以往更具吸引力的体验。

TelevisaUnivision 是墨西哥最大的广播网络和全球领先的西班牙语媒体和内容公司。在 2022 年 FIFA 世界杯期间，该广播公司与 disguise 创意服务团队合作，将数字人作为他们在 TUDN 上 La Jugada Qatar 2022 黄金时段分析节目的一部分。这种创新的合作使记者和前足球运动员能够更准确地分析比赛过程，得益于实时数据输入到球员的 3D 数字化身上，同时为观众提供更深入地了解冠军赛事的最重要比赛，并提供更加有趣的观看体验。

TUDN 节目在整个世界杯期间播出 – 每个工作日晚上 9 点开始，持续两个小时，周四、周五和周六持续三个小时。TUDN 在整个墨西哥的 Televisa 24 小时网络和开放网络上播出，共有 940 万观众收看。在世界杯结束后，Televisa 报告称，2022 年第四季度的核算收入增长了 22%，得益于其对 2022 年 FIFA 世界杯的报道。

考虑因素

体育广播中的创新技术：迄今为止的现状

多年来，体育网络一直采用先进技术和创新来增强其报道，为观众提供更具吸引力的体验。其中一些技术包括：

• 虚拟工作室和增强现实：像 ESPN、Fox Sports 和 DAZN 等体育网络利用虚拟工作站、增强现实图形和动态图形来创建沉浸式、数据驱动的呈现方式。这些技术通过 disguise 的扩展现实工作流程和图形控制系统实现，可以以引人入胜的方式视觉呈现球员统计数据、比赛策略和实时数据，帮助观众更轻松地理解复杂信息。
• 球员追踪和表现分析：体育网络采用了像SportVU这样的球员追踪技术，利用摄像头和计算机视觉来追踪球员的动作并分析其表现。这些数据可以与高级分析相结合，提供关于球员优势、劣势和对球队的贡献的深入见解。
• 虚拟和远程摄像系统：一些网络，如Sky Sports，已经实施了虚拟摄像系统，使他们能够创建传统摄像设置无法实现的独特摄像角度和视角。这些系统可以为观众提供新颖的游戏视角，如俯瞰视角或个别球员的特写镜头。
• 传送：扩展现实还使 Eurosport 能够尝试“传送”技术，运动员或教练可以从远程位置被传送到虚拟工作室参加采访。这项技术使采访更具吸引力和互动性，因为受访者可以实时回答问题并与环境互动。

随着全球广播公司不断寻求提升观众参与度并吸引更多观众关注屏幕，使用游戏引擎、动作捕捉、人工智能和实时渲染等技术正变得日益普及。这些技术创造了高度逼真且引人入胜的虚拟表现，为广播事件提供了更具吸引力的呈现方式。

概述

Televisa 一直致力于以最具创新性的方式报道全球体育赛事，借助虚拟制作技术的支持。对于 2022 年的 FIFA 世界杯（这是墨西哥收视率最高的赛事）。该广播公司希望将实时 3D 内容和观众参与度提升到一个新水平。

由于这是一个晚间游戏节目，观众们会聚在一起与家人一起回顾他们白天观看的比赛，因此 TUDN 的重点更少地放在对游戏玩法的硬性数据分析上，而更多地放在娱乐性上，为更广泛的公众提供一个不同的游戏视角，让他们能够理解并参与其中。

在市场上已经有大量体育分析工具的情况下，Televisa 希望超越现有的解决方案。节目的氛围更加欢乐，面向不同的人群，因此广播公司希望确保节目对更广泛的观众具有吸引力和参与度，用更轻松的评论取代过于技术化的分析，吸引更多观众并提高收视率。

构思过程

团队的目标是通过利用 Unreal Engine 中具有突破性的 MetaHuman Creator 的强大功能，构建逼真的场景环境和动画，几乎将节目变成一个视频游戏。他们的目标是使比赛变得更具娱乐性，将比赛“游戏化”。

在项目中，团队围绕最适合的 Unreal Engine 版本进行了许多讨论。由于 UE5 和 UE5.1 都已发布，前者更加稳定，而后者具有更多创新功能，有助于满足项目要求。考虑到项目的目标和 MetaHuman 应用的规模，团队选择了 UE5.1 来支持大规模计算能力。然而，问题在于其他整合到工作流程中的供应商尚未支持 5.1 版本，因此团队不得不对未发布的插件进行多次内部测试，以确保在场上同时运行如此多的数字人时能够顺利运行。

disguise Creative Services 团队在 UE5.1 中创建了一个自定义工作流程，用于生成比赛的 3D 表示。由于 Televisa 拥有墨西哥城最大的足球场 Estadio Azteca，广播公司在球场内建造了一个两层结构，用于日常节目制作。与此同时，创意团队对球场进行了 3D 扫描，创建了其模型，然后将其放置在 Unreal 中的虚拟卡塔尔湾中，主持人和评论员可以通过绿幕工作室被传送到那里，以便他们在完全由计算机生成的环境中进行分析。

使用实时3D引擎的好处

作为目前市场上最先进的3D图形引擎，Unreal Engine为团队提供了许多优势，以满足客户需求，包括：

• 实时渲染：Unreal Engine 在实时渲染方面表现出色，可以提供高质量的视觉效果和流畅的游戏体验。引擎的先进渲染功能使得实现逼真的光照、阴影和反射成为可能，从而为观众营造出沉浸式和可信的足球比赛体验。
• 动画工具：Unreal 提供一套原生动画工具，动画师和开发人员可以共同合作，基于球的真实运动创建自动插值，使其在空中飞行更加逼真，同时节省制作时间。这些工具有助于提高动画制作的效率和质量。
• 视觉脚本：Unreal 的视觉脚本系统 Blueprints 使非程序员能够创建复杂的游戏机制和交互，而无需编写一行代码。这使得设计师和艺术家更容易地协作，并在项目中进行游戏特性的迭代。通过利用这些功能，团队能够在 Unreal 中创建一个定制的工作流程，准确模拟世界杯比赛的亮点，同时为制片人解锁灵活的动画编辑，最终为用户提供更具吸引力、逼真和视觉上令人印象深刻的体验。

通过利用这些优势，团队能够在 Unreal Engine 内创建一个定制的工作流程，准确模拟世界杯比赛的亮点，同时为制片人解锁灵活的动画编辑功能，最终为用户提供更具吸引力、逼真和视觉上令人印象深刻的体验。

方法

通常情况下，当广播公司为足球比赛运行分析节目时，他们会在视频回放上叠加计算机生成的图形，使用标记来跟踪球员和球的移动。像 Fox Sports 这样的网络使用常见的体育统计 API 数据来创建静态 AR 图形，展示诸如进球数、罚球、控球率和传球成功率等统计数据。

然而，Televisa 希望将这一概念提升到更深层次，以一种以往无法实现的方式更全面地审视比赛过程，而无需不断停止和恢复比赛。为了满足这种尚未开发的需求，团队开发了一个复杂且高度定制的解决方案，该解决方案将根据每场比赛的逐球脚本生成一个 3D 序列，将球员和球的每一个移动转化为高保真度的数字副本。

技术概述

该解决方案的目标是尽可能实现自动化。

TUDN 的混合制作，由 UE5.1 提供支持，与体育数据聚合工具 OptaStats（是 FIFA 世界杯的官方数据提供商之一）和 GolStats 集成。这些数据工具然后应用人工智能来分析游戏数据，借助标准的实时体育统计 API。数据分析结合回放视频剪辑，使团队能够跟踪场上的每位球员，然后生成一个描述每个动作的时间戳回放的 JSON 文件（包括球员的奔跑、速度、球的方向等）。团队随后在 Unreal Engine 内构建了一个定制的工具集，用于对游戏过程进行数据表示。完成后，他们将得到一个与视频剪辑中发生的情况非常相似的副本，但在完全虚拟的游戏引擎环境中。创意团队随后与制片人一起撰写脚本，解释为什么游戏中的特定部分很重要，创建一个工具，可以自动在游戏的 3D 渲染中插入不同的表情符号和虚拟角色，为分析增加了一层电影化的元素。Unreal Engine 5.1 内的 MetaHuman Creator 工具是用于重新创建游戏过程中数字化球员的核心。

数据使用

在前端，团队构建了一个定制的工具集，使他们能够从 JSON 文件中加载数据，并通过点击按钮生成整个比赛过程。基于 JSON 数据，该工具将自动选择具有正确队服的相关球队，将每个球员放置在其各自的位置，并准确地运行游戏过程，就像在现实中发生的一样。

在后端，团队进行了大量工作来处理数据，并使其适用于 Unreal Engine。团队不得不修改 OptaStats 聚合工具的原始数据（包括有关球员、球队、比赛的信息）以及来自 GolStats 的球员跟踪数据，合并这两个数据集，并借助 Polygon Ipsum（ disguise 的 Unreal Engine 原生数据源聚合工具）将它们标准化为 Unreal 可用的格式，从而提供了对第三方数据流的简便管理。

团队

负责交付项目的 disguise 创意服务团队分为两个组：

• 创意团队负责为每支球队和关键球员创建定制的数字人装备，将体育场扫描转换为可用的 3D 资产，并开发整个虚拟环境，包括照明、次要表情符号角色、植被等。
• 开发人员负责将 JSON 文件转换为 Unreal 序列，并在 Unreal 内构建定制工具，以使他们能够根据制片人的要求灵活编辑动画。

这两个团队都是远程工作的，墨西哥城现场有一名专门的支持专家协助 Televisa 进行拍摄。

规划和前期制作

最初的规划讨论始于 2022 年 1 月，经过几轮创意讨论后，于 5 月最终确定了 3D 模拟的概念。创意团队随后前往墨西哥扫描体育场，创建了体育场的 3D 模型，包括球场、球门、看台区域和其他相关元素，然后他们将这些模型导入 Unreal Engine，在其中应用逼真的纹理、照明和阴影，以创建一个可信的环境，同时构建卡塔尔湾的虚拟环境。然后他们将这两个环境合并在一起，以获得完整设置的最终渲染。

到了 6 月，资格赛结束后，已经有三名开发人员开始着手开发 Unreal Engine 的工作流程，与 GolStats 合作了解他们需要集成到 Unreal 中的数据集，并为每支球队创建了三套不同的队服的数字人版本。

在前期制作中面临的挑战是，开始构建 3D 资产所需的许多信息在活动开始前确认的时间非常接近，例如每支球队的参与者是在开始日期前一个月才宣布的。因此，团队不得不依靠对在此期间最有可能被选中的球员进行预测。一旦所有球员细节得到确认，团队在活动开始前的剩余时间内对数字角色进行了微调。

利用游戏数据重现比赛亮点

一旦活动开始，项目就变成了一个非常高节奏的制作过程，每天运行长达 20 个小时，贯穿整个锦标赛。团队每天必须制作至少三到四个不同的比赛片段，以便在晚间节目中进行分析。Televisa 的制片人会查看当天进行的最重要比赛，选择每场比赛中他们想要分析的最相关部分，创意团队会与 GolStats 的数据聚合器一起全天工作，收集相关资产并解释动画数据，以在 3D 中重现这些亮点。

为了实现这一目标，Televisa 首先会向开发人员发送他们想要复制的游戏片段的 mp4 剪辑作为参考。然后团队会将 mp4 文件与该特定比赛的 GolStats 原始数据结合起来，生成一个包含所选游戏的所有现有信息的大型 JSON 文件（包括哪位球员在奔跑、他们的速度、球的方向等），并将其上传到 Unreal Engine 中。

在 Unreal 中，他们会为整个片段创建一个单一序列，并解析 JSON 文件以获取以下关键数据：

• 球场上的队伍和球员是谁
• 他们的确切位置是什么
• 他们奔跑的速度有多快
• 谁踢了球

整个时间内球的位置是什么。对于 JSON 中缺失的任何数据，团队会回到 mp4 文件中进行插值，例如根据球员奔跑的方向确定他们的朝向，或者根据球在视频的不同帧之间的位置确定球的速度。挑战在于重现未被摄影捕捉到的瞬间，当摄像机聚焦在其他地方时。为此，团队不得不依靠被捕捉到的球员的行为，并将其余球员的行为与之匹配。

这里另一个意想不到的挑战是，一旦导入 Unreal 序列中播放的数据以 20 FPS 的不寻常帧率播放，团队不得不实现一个时间码转换器将其转换为 PAL 标准的 25 FPS。

使球的平滑播放也具有挑战性，因为 JSON 生成的数据仅指定了某些感兴趣的时刻，中间的细节被省略。对于体育统计 API 来说，球在传球之间的位置并不重要，但对于 3D 动画来说，这是至关重要的。这引入了一个挑战，确保球的移动是真实的；球员不能传球并使其立即出现在场地的另一侧。然而，位置插值并不总是解决方案。简单地平滑地将球的位置从 A 点到 B 点通常会使球看起来像是在空中漂浮，而不是被猛烈踢出。解决方案在于团队的多样性，经验丰富的动画师会介入并打破插值，研究 TUDN 提供的参考视频，并为球创建动画，以实现真实的传球。

引入数字人

为了实现运动员的3D重建，选择了 Unreal Engine 5.1 的 MetaHuman Creator，因为它拥有先进的逼真效果，这对于近距离拍摄运动员至关重要。该工具还专为复杂的制作和实时渲染而设计，这是开发团队的核心需求。虽然 Unreal 内置的数字人的细节级别系统(LOD)非常强大，但创意团队不得不对其进行修改，以适应自定义需求。Unreal 的重点是视频游戏的可玩性，但对于团队来说，这既是高保真仿真的结合，也是在紧张的工作环境中无阻碍的工作流程。他们选择仅在近距离拍摄时使用最高级别的细节，并保持更合理的工作细节级别。

团队最初考虑使用 iPhone 对运动员进行激光雷达扫描，然后将扫描数据导入 Unreal 以形成数字人。然而，由于时间限制和邀请运动员到工作室进行扫描的可行性，放弃了这个选项。相反，开发人员选择了一种更加手动的方法，即团队尽可能调研运动员的所有录像素材，捕捉到所有运动员的面部和身体特征，然后将资产发送给指定的 Unreal 艺术家进行数字人建模。

动作捕捉也是最初考虑的选项，用于模仿运动员的动作。然而，要找到与MetaHuman Creator无缝集成的动作捕捉工作流程，需要将数据录制和编辑为 JSON 格式，然后导入 Unreal，这将需要太多的资源，而这些资源在工作流程的其他部分是至关重要的。最后，他们选择了预先制作的资源。挑战在于一些动画需要大量的清理和编辑，但 UE5.1 中的新 IK Rig Retargeting 功能使创意团队能够将不同来源的动画映射到同一个骨架上，实现真正统一的输出。

对于分析的每个国家队，选择了他们最相关的三到五名球员，并为每个球员创建了一个数字人形象。然后，对这些角色进行了骨骼结构绑定，使其能够在 3D 环境中移动和互动。然后，这些数字人将自动放置在 Unreal 中的数字回放中(作为 JSON 文件上传的一部分)，以重现比赛的最关键时刻，随后是短暂的庆祝时刻，展示他们在进球后在场上跳舞。

由于时间限制，对于每个团队中的其他球员，团队创建了一个模板角色库，其中包含几个共同特征，将它们与原始团队联系在一起。

这个项目是在完全实时的 Unreal Engine 环境中运行的广播节目中数字人的最大公开部署，每场比赛分析中有 22 个数字人。为了使这 22 个数字人正常运行，团队需要进行大量的开发工作，将所有玩家的数据重新定位和动画化，以创建与现实比赛完全相同的仿真效果。

数字人需要严格的项目结构，并且由于每个角色绑定需要其独特的一组资产，加上一些共享资产，导致文件非常庞大。这意味着团队需要在项目早期就抽出足够的时间，尽快开始下载这些资产。

次要效果和角色

除了球员之外，艺术总监还创建了各种效果和次要角色，例如表情符号和团队吉祥物，在游戏的关键时刻会有反应和动画效果。为了构建这些效果，团队参考了 TUDN 通常在比赛回放中使用的资源，并将它们转录到三维世界中，以保持品牌一致性。这也使制片人能够在他们希望的时间选择它们，并且 TUDN 的观众能够轻松识别它们。

团队吉祥物被设计为推广每个参赛国家的增强现实(Augmented Reality)化身。创意团队在构思这些化身时从每个国家的历史和文化中汲取灵感，然后将设计要求发送给外部设计机构，为化身构建角色绑定、三维模型和动画。设计完成后，化身文件被发送回开发人员，使用 Stype 相机跟踪系统对其进行绑定，将它们转化为 Unreal Engine 中的 AR 吉祥物。

这里的目标是在卡塔尔的体育场前景镜头中，将 AR 吉祥物合成到场景中，象征着比赛即将开始。随着团队不断吸收原始动画，为这些角色制作状态机，使基本骨骼可以从空闲状态切换到站立、奔跑、踢球或跳水状态，下一步是在比赛过程中将它们与数字人合并到体育场中。将它们与球队的队服匹配是一个简单的任务，因为这些可以动态生成，静态序列可以随时创建。团队可以在其中进行切换，并根据需要进行清理。

一旦角色和效果融入到三维环境中，与现场支持团队合作的制片人能够轻松选择触发这些效果的游戏过程中的部分（例如：当一名球员进球时，他们可以触发四叶草叶和庆祝表情符号的爆炸效果，在场地周围显示）。这为工作流程提供了增强的易用性，因为制片人已经能够浏览序列，暂停播放，进行评论，并在屏幕上留下注释。

构建定制化的 Unreal Engine 工作流程

通常在分析比赛回放时，广播公司会暂停比赛并移动摄像机。在 3D 比赛模拟中，他们可以创建动态摄像机角度和回放，以提升用户体验。为了实现这一目标，需要考虑以下几点：

开发一个虚拟摄像机系统，能够在体育场周围切换多个摄像机。这可以包括跟随球的摄像机、以球员为焦点的摄像机和广角镜头，以提供比赛的全面视图。系统应平滑地在这些摄像机之间切换，以保持电影般的沉浸体验。

设计模仿真实足球广播的摄像机运动和角度。包括缓慢的平移、跟踪镜头和航拍视图。利用景深、摄像机抖动和其他效果来营造真实感和刺激感。

实施回放系统，捕捉和存储比赛中的关键时刻，如进球、犯规和险情。这些时刻可以从不同角度进行回放，搭配慢动作和其他视觉效果来强调其重要性。回放系统还应允许用户手动控制摄像机角度和播放速度，以进行进一步分析。

对于 TUDN 项目，由于 Unreal Engine 界面中只有一个时间轴，团队不仅需要暂停游戏，还需要在时间轴上创建空白空间，用于移动虚拟摄像机和动画球员的动作。他们展示了场上每个球员的动画，以创建空间，在其上添加自己的内容动画（由数十万个关键帧组成，可以移动和调整）。他们还构建了一个数字人回放系统，用于接收数据，并在 Unreal 中为制片人请求的确切持续时间和比赛部分制作整个序列。

在开发动画序列时，团队希望构建一个定制的软件，让 TUDN 的操作员可以轻松在时间轴上编辑镜头，但最终证明这太具挑战性了，因此，disguise 的艺术总监前往现场提供支持进行编辑工作。

实时渲染和优化

实时渲染对于确保流畅、高质量的 3D 足球比赛体验至关重要。团队需要优化场景，以确保流畅的游戏和高质量的视觉效果，调整诸如细节级别、纹理分辨率和光照复杂度等因素，以实现性能和视觉保真度之间的理想平衡。

他们还实施了一个细节级别（LOD）系统，根据物体与摄像机的距离调整 3D 模型的复杂度。这减少了远离摄像机的对象的渲染工作量，提高了性能而不损失视觉质量。

他们还通过使用烘培光照、虚拟阴影贴图和环境遮挡等技术来优化光照计算。这些方法在保持逼真结果的同时减少了实时光照的计算需求。

最后，帧率被不断监控和调整，以确保流畅且一致的体验。这涉及根据系统性能动态调整图形设置和自适应分辨率缩放，其中在 Unreal 中使用了 Temporal Super Resolution (TSR) 来辅助实现。

用户输入与互动

除此之外，团队还创建了一个工具，可以根据制作人的要求实时编辑动画。

为此，他们需要操作数据并在 Unreal 时间轴上移动球员，以实现期望的结果。这里的主要好处是为制作人提供了灵活性，可以选择最终序列的外观，删除或添加球员、角色或特效。

该工具还允许制作人控制虚拟摄像机的移动。他们可以创建一个摄像机序列，将摄像机放置在体育场内外真实摄像机无法达到的位置，而不会干扰球员。这为比赛模拟提供了一系列独特的视角，真实比赛无法提供。

当将 AR 化身应用到比赛对决场景中时，开发人员构建了一个系统，应用了 Socket.io、多个 JSON 数据包和开放的 SSH 服务器，将 Vizrt 控制集成到工作流程中。这个系统允许操作员手动选择即将参加比赛的两支球队和它们各自的吉祥物（化身），在比赛前触发各种动作，如嘲讽、攻击和蹲伏，模拟视频游戏场景。由于 disguise 团队的成员都是经验丰富的广播操作员，对于传统的广播控制工具如 Vizrt 非常熟悉，因此他们能够快速为操作员创建简单的模板。

总的来说，逼真的数字人、3D 化身动画、动态环境和特效，以及在 Unreal Engine 5.1 中的高度定制化，使得对于 TUDN 观众来说，足球游戏的模拟非常精准，营造出沉浸式和引人入胜的观赛体验。

结论

为 TUDN 2022 年国际足联世界杯广播开发的突破性解决方案，利用 Unreal Engine 5.1、游戏数据统计和数字人重新创造了足球游戏，为观众和制作人提供了前所未有的体验，包括：

• 强化的可视化：高质量的图形、逼真的动画和动态摄像机角度帮助将比赛活灵活现，使观众感觉更加亲近比赛。
• 深入分析：通过在 3D 环境中重新创造足球游戏，体育分析师可以更详细地分析比赛、战术和球员表现。这使得对于复杂战术的解释更加全面和视觉上引人入胜，帮助观众更好地理解比赛。
• 制片人的灵活性增加：3D 模拟使制片人可以控制摄像机角度、回放速度、动画和其他元素。这种互动水平提升了观众参与度，并为制片人提供了新的编辑机会。
• 可访问性：广播中加入的游戏化水平使得比赛对于年轻观众或对于该运动了解有限的观众更易接触和娱乐。通过提供逼真而引人入胜的虚拟比赛呈现，这些模拟帮助提升了 TUDN 的收视率。
• 实时数据整合：通过将实时比赛数据整合到 3D 模拟中，TUDN 能够提供最新和准确的比赛呈现。

TelevisaUnivison 的第四季度收入增长了 22%，达到 15 亿美元，这主要得益于出色的世界杯表现，而全年收入增长了 13%，达到 47 亿美元，标志着连续第二年实现两位数的收入增长。

这个项目证明了观众，尤其是传统广播公司努力吸引的年轻一代观众，对于电视广播节目提供的新的、游戏化的体验持开放态度。先进的 3D 图形引擎和数字人所带来的机遇为全球广播公司提供了一个蓝图，以创造更具沉浸感和视觉吸引力的节目。

论文题目：USING METAHUMANS IN LARGE-SCALE SPORTS PRODUCTION
作者：Doris Retfalvi
来源：IBC 2023
论文链接：https://www.ibc.org/technical-papers/ibc2023-tech-papers-using-metahumans-in-large-scale-sports-production/10279.article
内容整理：王秋文