苹果新专利:现实世界中佩戴HMD的用户如何在没有HMD的情况下在虚拟世界中被看到

4月27日,美国专利商标局公布了苹果公司的一项专利申请,涉及检测提供镜面反射的表面、修改反射、或提供描绘这种表面和反射的内容的系统、方法和设备。更具体地说,苹果公司的专利描述了佩戴HMD的用户如何在现实世界中拿着iPhone,但在游戏中却变成另一个设备,如光剑。专利中还提供了其他例子。这是一项也许苹果开发者会更欣赏的专利。

据苹果公司称,本发明的各种实施方案包括检测镜子、玻璃、液体和其他表面以及这些表面的反射的设备、系统和方法。一些实施方案涉及检测用户或用户设备在表面的反射,并提供虚拟内容,在提供给用户的内容中增强或取代反射的外观。

例如,一个环境的视图可以被修改,以包括用户的反射,但不包括用户持有或佩戴的电子设备。

在另一个例子中,环境可以被修改,以使虚拟内容,如较新版本的电子设备或虚拟光剑,取代反射中的电子设备。

在另一个例子中,环境可以被修改,以便虚拟内容,如一个化身,在反射中取代用户。

该方法可进一步涉及识别替换内容,以替换用户或电子设备的反射的至少一部分。在一些实施方案中,替换内容包括用户身体的部分(例如,一只手、一只胳膊等)或背景内容,这些内容在手持移动设备被删除、增强或以其他方式修改时将是可见的。

在一些实施方案中,替换内容包括用户身体的部分(例如,手臂、衣服等)或背景内容,这些内容在腕上安装的设备被擦除、增强或以其他方式修改时将是可见的。

在一些实施方案中,替换内容包括用户头部的部分(如脸颊、眼睛、眉毛、头发等)或在头戴式设备(HMD)被擦除、增强或以其他方式修改时将会看到的背景内容。

在苹果的专利图4和图5中,我们看到苹果将如何让用户在现实世界中持有的设备转变为另一个设备,就像CGR环境中的光剑。在图5中,尽管在现实世界中用户戴着HMD,但在CGR环境中,HMD被替换成没有HMD的用户的脸。

用户的表情是由位于耳机内的摄像头捕捉的。苹果公司进一步指出: “例如,由传感器(如摄像头)捕获的眉毛、嘴巴、下巴和眼睛的表情可用于模拟用户头像上的表情。

苹果新专利:现实世界中佩戴HMD的用户如何在没有HMD的情况下在虚拟世界中被看到

苹果公司的专利图6上面说明了HMD设备#120检测提供镜面反射的表面并提供CGR环境的系统流程。HMD设备使用一个或多个环境传感器#610(例如,一个或多个摄像头)来捕捉、创建或提供物理环境#100的视图#130。

在专利的其他部分,苹果公司指出,”用户可以查看和以其他方式体验基于CGR的用户界面,允许用户选择、放置、移动和以其他方式体验并与CGR环境互动,例如,通过手势、语音命令、输入设备输入等”。

最后,苹果公司指出,基于投影的系统可以采用视网膜投影技术,将图形图像投影到人的视网膜上。投影系统也可以被配置为将虚拟物体投射到物理环境中,例如,作为全息图或在物理表面上。

了解详情可查看苹果的专利申请号20230131109

发明者

Selim Ben Himane: AR和VR领域的计算机视觉和机器学习总监。
Brian Christopher Clark:技术开发组工程项目经理
Daniel Kurz 高级机器学习经理(计算机视觉、机器学习、增强现实)。
Peter Georg Meier:在2019年之前是苹果公司的算法负责人。他是苹果在2015年收购的Metaio GmbH的前老板。

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论