摘要：5G XR作为新一代移动通信技术的重要业务场景，其产业正在不断壮大，为了满足新媒体服务的需求，移动网络也需要针对XR多媒体业务进行相应的增强，其中用户体验质量的优化引起业界广泛关注。分析了XR业务场景、5G XR业务性能标准化评估、XR用户体验质量管理标准化进展情况，并对未来XR技术的发展进行了展望。
前 言
在信息迭代迅速的时代，人机交互技术快速发展，其中扩展现实（Extended Reality，XR）技术提供了未来无限可能的人机交互场景。随着近年来元宇宙（Metaverse）概念的兴起，元宇宙作为一个将虚拟与现实世界相融合的全新概念在学界和业界得到了广泛关注，而XR技术正是承载和构建虚拟与现实交融的关键技术，是元宇宙重要底层硬件载体之一，元宇宙的发展也将必然带来XR产业的崛起。
随着5G技术的蓬勃发展，我国已建成全球最大规模的5G网络，为建设数字中国提供了强有力的基础设施支持。随着新兴5G新业务的不断涌现，XR业务数据的传输需求对5G系统性能提出新要求，5G系统针对XR业务进行了进一步增强，从而为XR业务提供高业务体验的网络接入能力。在新业务应用融合方面，XR业务随着5G商用网络的部署，快速与工业、教育、旅游等领域的应用融合，为5G新业务服务于千行百业提供更广阔的应用空间。
01 XR业务场景
1.1 XR技术分类
XR技术是由计算机技术和可穿戴设备生成的真实与虚拟融合以及人机交互的环境［1］。XR业务类型包含了多种技术形式，其中包括虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）、混合现实（Mixed Reality，MR）等，被称为未来虚拟现实交互的最终形态（见图1）。
VR技术是一种利用计算机可以创造出虚拟世界的模拟环境，产生多源信息融合的交互性实时动态的三维立体逼真空间，用户可使用头戴显示设备（HMD）和游戏控制器完全沉浸于虚拟的世界并进行实时互动［2］。VR技术集合多媒体技术、传感技术等多种技术，具有多感知性、交互性、沉浸感、构想性等特性。VR技术主要包括模拟环境、感知、自然技能和传感设备等。
AR技术是一种将真实世界信息和虚拟世界信息相融合的新技术，通过计算机技术模拟现实世界的实体信息，包括视觉、听觉、味觉、触觉等，进而叠加应用于真实世界的直观感受。真实世界信息和虚拟世界信息这2种信息互为补充，从而实现对真实世界的“增强”。用户通过设备与增强后的现实环境进行实时交互，从而使用户获得超越现实的体验。AR技术将真实世界和虚拟世界的信息集成，包含三维建模、实时视频显示和控制、多传感器融合、实时追踪和准确定位等技术和手段。
MR技术进一步发展了虚拟现实技术，通过在现实场景展现虚拟场景的信息，构成了现实世界、虚拟世界和用户之间交互反馈的信息回路，从而增强用户体验的真实感，实现打造虚拟与现实融合的可视化环境。MR技术支持用户与虚拟物体互动，从而使用户在真实世界可以感知虚拟物体。
1.2 产业链现状分析
XR产业发展经历了长期的技术探索。1968年，被誉为美国“计算机图形之父”的Ivan Edward Sutherland开发了世界上第一个3D（3-Dimension）VR头戴式显示器，打开了VR技术的大门。2012年以来，深度学习算法涌现并在视觉识别上取得突破性进展，VR/AR技术概念和产品开始进入大众视野。谷歌在2012年发布第一款智能AR眼镜Google Glass，引发市场对VR/AR技术的强烈关注。近年来，随着XR市场规模不断增长，Oculus VR耳机、Microsoft AR眼镜、现象级AR游戏《Pokemon Go》、Facebook VR头盔Oculus Quest等不断推出新产品，XR头戴设备、内容服务商等新产业合作伙伴加快入场，使得XR市场更加火爆，短期内实现高速发展。
时至今日，XR市场发展已经横跨多种领域，包括面向消费者（ToC）、面向企业（ToB）市场。其中ToC端应用市场包含娱乐、购物、游戏、旅游、影视、直播等领域，ToB端应用市场包含教育、工业制造、国防军事、职业培训、医疗、零售、营销等。XR市场的蓬勃发展为社会形态进一步数字化、平行化和智慧化提供了无限可能性。
XR硬件设备作为XR市场发展的催化剂，在ToC和ToB市场都有飞速增长。VR热门产品包括Oculus Quest 2、Varjo VR-3、Playstation VR、Valve Index和HP Reverb G2。
AR热门装备包括智能手机和专用AR设备，智能手机搭载AR滤镜的应用程序就能实现AR功能，这类应用包括抖音、Instagram、Snapchat等；专用AR设备包括微软HoloLens 2、联想ThinkReality A3等。
XR硬件终端市场规模日益增大，丰富的内容和成熟的硬件能力使得XR行业有着更加蓬勃的发展前景，同时消费级XR设备价格逐渐下探，XR终端将逐渐走进千行百业、千家万户。
1.3 5G赋能XR
为了降低对XR终端运算处理能力要求，XR业务与边缘云计算技术密切相关。边缘云服务器提供高复杂度的处理、渲染等功能。但是，这需要解决XR设备与边缘云服务器之间大量数据传输交互的需求［3］。
而且为了满足XR业务的沉浸感和交互性需求，XR设备与边缘云服务器的数据传输要求毫秒级的传输时延，这意味着网络传输需要同时满足低时延和高数据率的要求。因此，高速率、低时延、可靠且安全的无线连接对XR设备至关重要。
目前5G是唯一能够实现XR极致传输的无线连接的技术，3GPP在2015年启动了5G第1个版本Rel15的标准研究工作，并于2018年6月冻结。我国在2019年正式启动5G商用。根据ITU对5G关键性能指标的定义，在增强移动宽带（Enhanced Mobile Broadband，eMBB）场景下，吞吐率可达到10 Gbit/s；在高可靠和低延迟通信（Ultra-reliable and Low Latency Communications，uRLLC）场景下，时延低至1 ms［4］。5G的大带宽、高可靠性、低延迟特点将满足下一代XR业务的需求，XR业务也是5G系统设计的关键场景之一，5G系统也在向满足消费者和企业对XR通信的需求演进。XR技术在5G技术的支撑下，将进一步打破虚拟与现实环境的界限，推动人机交互方式变革，促进行业共同发展。
02 5G XR业务性能评估
随着XR业务发展的多元化和日益丰富的新功能上线，5G网络也随之持续演进。为了满足XR新业务对高传输速率等的新要求，3GPP从R15版本开始了5G XR技术的研究工作，包括在空口传输、网络架构、媒体业务、业网协同等方面开展技术研究和标准制定。本章对XR业务模型和性能KPI展开分析。
2.1 业务模型
3GPP TR 38.838针对XR业务制定了通用和专用的业务模型作为分析和评估的准则［1］，为后续制定在空口传输XR业务规范奠定基础。其中业务模型评估对上行、下行业务分别进行了考虑。根据XR业务的特点，上行业务主要为终端用户姿势和控制的相关业务，其周期固定，数据量较小，对抖动敏感度低，按照其特性，设计了上行链路通用业务模型，如表1所示。
XR下行业务根据类型的不同考虑了两大类模型，一是单业务流模型，对整体XR业务进行统一调度，其中业务参数包括包大小、包达到率、包延迟预算、包传输成功率需求等；二是多业务流模型，针对XR业务不同数据流形成差异化保障模型，其中包括对帧内编码帧（intra picture，I帧）和前向预测编码帧（predictive-frame，P帧）的差异化保障、视频和语音的差异化保障、视野图景（Field of View，FOV）和全向图景的差异化保障等。
I帧和P帧的差异化保障方案是对I帧和P帧图像数据流分别进行QoS保障，I帧应被优先保障（见图2）。
其中I帧和P帧作为视频编码的重要形式，通常I帧数据包较大，包含了完整的信息，在视频解码时只需利用本身的信息即可完成解码，属于帧内压缩；P帧是前向预测编码帧，编码是通过前面已编码帧的时间冗余信息来压缩图像，在解码时需要参考前一帧的信息才可以完成解码，P帧的压缩率相较于I帧更大，其数据量更小，由于P帧的解码需要依靠已传输的I帧，所以I帧的传输优先级更高。视频和语音的差异化保障是将视频数据流和语音数据流分别进行QoS保障，视频数据流应被优先保障，对用户体验影响较小。视野图景和全向图景的差异化保障是对视野图景数据流和全向图景数据流分别进行QoS保障，视野图景数据被优先保障（见图3）。视野图景是用户当前正在观看的视野范围，即眼球视野视觉能够覆盖的区域；全向图景是360°全向图景，提供给用户360°方位的图像，用户在当前观看不到，但是在未来时刻可能转向该图像方位。FOV作为用户正在收看的集中区域，对用户体验影响较大，优先级更高，应得到优先保障。通过差异化保障方案，可以让5G网络更精准地感知5G XR应用，以便进行最优的无线资源分配，对其应用数据包实现不同QoS保障处理，全面提升用户的体验质量。
2.2 性能KPI
XR业务中很重要的特点是视听交互性，包括人与环境、人与机器、人与人之间进行交互，对时延的要求较高，其中运动到成像（Motion-to-Photon，MTP）时延，定义为用户头部的移动与头显中的画面更新之间的延迟。MTP时延过高会导致用户出现眩晕感，目前公认的是MTP时延低于20 ms就能大幅减少晕动症的发生［5］，而3GPP定义的5G系统需要支持的MTP时延需要满足7~15 ms的要求，并开展了触感通信、多模态传输等研究工作，并制定了重要KPI需求（见表2）［6］。
在满足KPI需求的基础上，3GPP还考虑了3种XR商用部署场景分别对5G网络性能进行评估，其中分为密集城区、室内热点和城区宏覆盖等场景，从系统容量、终端能耗、网络覆盖、移动性等开展技术评估。研究结果证明［1］，5G R16系统可以为XR业务提供基础能力保障，下一步将继续研究提高5G NR用于XR和云游戏应用的系统容量、UE功耗等性能需求。
03 XR业务用户体验质量管理
3.1 用户体验质量管理的概念及定义
5G NR用户体验质量（Quality of Experience，QoE）功能作为从LTE时期持续演进的功能，是移动通信网络收集用户对体验质量的报告［7］。QoE功能是通过收集用户应用层测量信息，直接获取用户报告的业务体验质量。用户的应用层业务体验能够最直观、最精准地反映用户对业务服务的体验感受。NR系统为了提高对用户业务体验质量的保证能力，研究了支持后处理或者实时分析等方式，根据分析用户QoE报告，指导网络配置优化等。在R17版本中现已支持对VR业务类型的QoE测量功能。VR作为XR最先展开研究的技术，其QoE应用层指标定义工作在文献[8]中开展并已完成，后续AR和MR的QoE应用层指标定义工作将在R18阶段启动［9-10］。
3.2 VR关键应用层指标参数分析
VR QoE测量的参考模型如图4所示［8］，其中3GPP定义了5个观察点（Observation Point，OP），包括从文件加载器、解调器、渲染器、传感器和VR应用获得测量信息，其中特定指标的相关信息可用于指标收集和计算（Metrics Collection and Computation，MCC）功能。通过VR应用程序将观察点的信息传输到MCC，MCC通过组合来自不同观察点的信息来计算更复杂的指标，从而形成VR业务应用层指标。
VR的应用层指标是将流媒体定义的QoE度量概念进一步扩展并涵盖VR业务的度量能力。由于VR业务大部分是继承流媒体的业务特征，包括高品质视频、音频播放服务等，所以流媒体指标也适用于VR业务。针对VR业务360°全景沉浸渲染视频服务，引入了衡量用户的视觉窗口（viewport）的质量和切换时延，代表了用户人眼跟随头动所接收到的成像质量，反映了用户的观看体验［11］。用户手势动作和身体移动之间的交互成为整个用户体验的重要组成部分，传输的实际内容通常取决于用户当下的行为，其实时互动性为网络带来了新的挑战。表3给出了VR业务应用层指标参数。
04 未来发展趋势展望
4.1 XR标准化展望
3GPP标准R17版本于2022年6月正式宣布冻结，标准化工作已经进入5G-A（5G-Advanced）新阶段。在R18标准进程中，3GPP工作组将继续对NR XR增强技术开展研究工作，将进一步研究QoS机制的增强功能，根据帧内数据包的依存关系对整体数据单元实现统一保障，研究不同优先级的帧类型或者图片组进行差异化处理，提升传输效率；考虑到XR媒体流量模式，对UE节能机制进行增强，例如支持连接状态下扩展的非连续性接收（connected mode extended discontinuous reception，C-DRX）；为了支持触觉和多模通信服务，5G系统通过QoS选择和协商进行分组处理，从而保证不同类型业务对时延、可靠性等的需求，为用户提供5G最佳服务体验［12］。在RAN2工作组中，将进一步研究支持XR业务的NR网络架构及增强功能，包括支持多模式的增强功能（如与特定时间相关的音频、视频和触觉数据）、研究5G系统和XR应用的交互、研究对XR服务QoS策略增强和UE节能等潜在增强技术方案［13］。
在R19阶段相关的前沿场景、业务需求等方面，SA1工作组立项了NR元宇宙课题［14］，将研究5G移动通信系统在社会、文化、政府和商业活动等不同领域提供新服务的新需求。重点关注XR媒体带来的潜在新用例和服务新要求，为用户远程访问本地服务提供共享、交互、沉浸式新体验，通过XR技术为用户带来更丰富的感官体验，包括音频、视频、触觉、多模态等，也为后续各工作组的研究指明方向，明确场景需求。
4.2 5G XR发展展望
在数字化技术快速发展的新时期，XR技术作为数字经济发展的新热门产业，必将是我国科技创新发展的重点方向。XR产业由最初的游戏娱乐向多领域拓展，发展空间广阔，增长潜力强劲。随着5G新技术研究迈进5G-A新阶段，将在各个技术领域持续演进，进一步增强提供基础网络能力，支持扩展新行业应用，支撑新业务、新维度的研究工作，全面满足未来市场需求，为后续无线新技术研究奠定坚实的发展基础。5G-A将在XR业务的网络容量、时延、带宽等差异化业务保障方面继续演进增强，从而更好地赋能数字经济，开创新发展格局，构筑全民畅享数字新生活。
参考文献
［1］3GPP. Study on XR（Extended Reality）evaluations for NR：3GPP TR 38.838［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
［2］ZTE. 中兴通讯5G云XR应用白皮书［R/OL］.［2023-06-25］.https：//www.sgpjbg.com/baogao/62629.html.
［3］史晓楠，熊春山，倪慧，等 . 5G XR 及多媒体增强技术分析［J］. 电信科学，2022，38（3）：57-64.
［4］ITU-R. IMT Vision – Framework and overall objectives of the future development of IMT for 2020 and beyond［R］. Geneva：ITU，2015.
［5］郑庆国，刘雅. VR终端时延和带宽需求分析［J］. 移动通信，2017，41（23）：54-60，65.
［6］3GPP. Service requirements for the 5G system：3GPP TS 22.261［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
［7］3GPP. WID update for enhancement on NR QoE：RP-221803［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
［8］3GPP. QoE parameters and metrics relevant to the Virtual Reality（VR） user experience：3GPP TR 26.929［S/OL］.［2023-06-25］.ftp：//ftp.3gpp.org/Specs/.
［9］3GPP. Feasibility study on AR and MR QoE metrics：SP-220616［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
［10］3GPP. New WID on media capabilities for augmented reality：SP220242［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
［11］CHEN Y，KWON H，INALTEKIN H，et al. VR viewport pose model for quantifying and exploiting frame correlations ［C］//IEEE INFOCOM 2022 – IEEE Conference on Computer Communications.London，United Kingdom：IEEE，2022：1269-1278.
［12］3GPP. Study on XR（Extended Reality）and media services：SP211646［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
［13］3GPP. Revised SID：study on XR enhancements for NR：RP-220285［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
［14］3GPP. New SID on Localized Mobile Metaverse Services (FS_Metaverse): SP-220353［S/OL］.［2023-06-25］. ftp：//ftp.3gpp.org/Specs/.
作者简介
董旭菲，工程师，硕士，主要从事无线标准化和新技术研究工作；
高帅，工程师，硕士，主要从事5G/6G高频技术研究、无线标准化研究工作；
李培，高级工程师，硕士，主要从事5G/B5G 无线接入关键技术、标准化研究工作；
曹亘，高级工程师，博士，主要从事无线技术、标准研究工作；
李福昌，教授级高级工程师，博士，主要从事移动通信及固网移动融合等专业的标准制定、测试验证、课题研究等工作。
论文链接：http://ydsjjs.paperopen.com//Image/12c19e71-f124-4899-90dd-66efef756aa9.pdf
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
