Meta 的逼真 “Codec Avatars ”原型现在支持更换发型，头部和头发分别建模。
近十年来，Meta 公司一直在研究和开发一项名为 Codec Avatars 的技术，这种逼真的数字人像由 VR 头显的面部和眼部跟踪实时驱动。根据我们的经验，最高质量的原型实现了不可思议的非凡壮举。
Codec Avatars 的目标是提供社交存在感，让人下意识地感觉到，尽管他人不在身边，但你确实与他在一起。目前没有任何技术能做到这一点。视频通话甚至都做不到这一点。
为了最终推出 Codec Avatars，Meta 一直致力于提高系统的真实感和适应性，降低实时渲染要求，并使得通过智能手机扫描即可生成它们成为可能。
生成 Codec Avatar 最初需要一个包含 100 多个摄像头和数百盏灯的大型自定义捕捉阵列，但去年 Meta 已将其改为仅用于训练“通用模型”。之后，可以使用旋转头部的自拍视频生成新的 Codec Avatar。然而，对于全质量的 Codec Avatar，这种捕捉需要大约一小时才能由高端服务器 GPU 处理。
虽然 Meta 早在 2022 年就展示了通过智能手机扫描生成的低质量 Codec Avatar ，但去年的工作通过采用高斯溅射方法将这一优势带到了更高质量的 Codec Avatar。
近年来，高斯拼接技术在逼真的体积渲染中的作用就像大型语言模型（LLM）在聊天机器人中的作用一样，将这项技术从昂贵的小众产品推向了市场，如 Varjo Teleport 和 Niantic 的 Scaniverse。
这些较新的高斯编解码头像本身也可以重新点亮，因此非常适合在 VR 和混合现实中实际使用。
苹果公司也在 visionOS 26 中使用高斯拼接技术制作新的角色形象，虽然与 Meta 的研究质量不尽相同，但实际上已经有了可用的产品。
Meta 公司的最新研究成果发表在一篇名为 《HairCUP: Hair Compositional Universal Prior for 3D Gaussian Avatars》的论文中，该研究以去年的高斯编解码头像工作为基础，在头部和头发之间增加了一个构图分割。
在 shipping 系统中，这将允许用户从选项库或自己的先前扫描中更换发型，而无需执行新的面部扫描。
就其本质而言，新方法还改进了头发和脸部之间的接缝，如刘海，并能在未来更好地支持帽子。
Meta 距离将 Codec Avatars 正式纳入其 Horizon OS 头显的目标越来越近了。然而，目前仍面临诸多挑战。
首先，Quest 3 和 Quest 3S 都没有眼动追踪和面部追踪功能，而且没有迹象表明 Meta 计划近期推出另一款具备这些功能的头显。Quest Pro 具备这两种功能，但已于今年年初停产。
另一个问题在于渲染要求。虽然 Meta 两年前就展示了由 Quest 渲染的低质量 Codec Avatar ，但迄今为止，高质量版本都是由 PC 显卡渲染的。Apple Vision Pro 证明了在设备上渲染高斯化身是可行的，但 Quest 3 的功能略逊一筹，而且 Meta 缺乏 Apple 对硬件和软件堆栈的全面端到端控制。
一种可能性是，Meta 首先推出 Codec Avatars 的初级平板版本，让您以比 Meta Avatar更逼真的形式加入 WhatsApp 和 Messenger 视频通话。
Meta Connect 2025 将于9 月 17 日举行 ，届时该公司可能会分享更多有关其在 Codec Avatars 方面的进展。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/60272.html
