对于AR，扫描对象以生成相应的3D模型是一个重要的过程。所以在名为”Systems and methods for processing scanned objects“的专利申请中，苹果就介绍了一种用于处理扫描对象的系统和方法。
图1示出了一名用户正在利用诸如平板电脑这样的设备扫描位于桌面的花瓶。
图3示出了电子设备300扫描真实世界对象的示例性方法。在图3中，设备300正在捕获真实环境310的图像。设备300包括一个或多个捕获组件，并将其用于捕获真实世界环境310的图像。
在一个实施例中，设备300使用飞行时间传感器来确定对象的形状和大小，并使用摄像头来确定对象的视觉特征，例如，颜色、纹理等。使用来自这两个捕获组件的数据，设备300能够确定对象的大小和形状以及对象的外观，例如颜色，纹理等。
参考图3，现实环境310包括表320和位于表320顶部的花瓶。一个或多个传感器捕获花瓶和表320的一部分，因此用户界面310显示由一个或多个传感器捕获的花瓶的表示330和桌子320一部分的表示。
在一个实施例中，标线302向用户提供指南和/或目标，并允许用户向设备300指示用户希望扫描的对象。当将标线302放置在现实世界的对象上时，设备300将识别感兴趣对象与现实世界环境中的其他对象分开，并启动扫描对象的过程。
扫描对象的过程涉及从多个角度和/或透视图对相应对象执行多次捕获。在一个实施例中，使用来自多个捕获的数据，设备300构建相应对象的部分或完整三维扫描。设备300处理三维扫描并生成对象的三维模型。然后，设备300将三维扫描数据发送到服务器以生成对象的三维模型。
处理三维扫描和生成对象的三维模型包括执行一个或多个摄影测量处理。三维模型可用于XR设置创建应用程序。
如图4A所示，用户已将标线402放置在对象上或附近。为了确定用户已将标线402放置在对象上或附近，设备400将对象识别为用户打算扫描的对象。例如在图4A中，已将标线402放置在花瓶的表示430上，并且设备400确定用户对扫描花瓶感兴趣。
因此，设备400启动用于扫描所述花瓶的过程。在一个实施例中，设备确定用户是否已将标线放置在对象上一段阈值时间，例如，0.5秒，1秒，2秒，5秒，10秒，以确定用户正在请求扫描对象。
作为确定用户希望扫描对象的一部分，设备400执行图像分割以确定对象在整个环境中的边界。图像分割包括识别物理环境中与其他对象分离的对象。可以使用从一个或多个初始捕获获得的数据和/或信息执行图像分割。
在一个实施例中，设备400使用一个或多个捕获组件对花瓶执行一个或多个捕获。一个或多个捕获组件捕获显示在用户界面401的总环境的子集。
如果和/或当捕获满足一个或多个捕获标准时，接受对象的一部分的捕获。例如，一个或多个捕获标准包括一个或多个捕获组件相对于被捕获对象的部分处于特定位置的要求。
一个或多个捕获标准包括要求捕获的对象部分与先前捕获的对象部分以阈值量重叠。如果新捕获与前一个捕获的重叠程度低于阈值，则不满足一个或多个捕获标准。重叠捕获允许设备400将新的捕获与以前的捕获对齐。
设备400接受满足一个或多个捕获条件的对象的一部分的捕获。不满足一个或多个标准的对象部分的捕获被设备400拒绝，并且可能要求用户执行该对象部分的另一个捕获。
设备400接受的捕获被保存和/或与先前捕获的对象合并。不满足一个或多个捕获标准的捕获将被丢弃。如果不满足一个或多个捕获条件，用户界面401可以显示一个或多个指示以指示和引导用户。例如，用户界面401可以显示文本指示，指示用户减速、靠近、进一步移动、移动到新位置等。
参照图4A，设备400显示用户界面401，其包括花瓶的表示430和表420的一部分的表示。为了响应成功地执行对象的一部分捕获，设备400在用户界面401显示扫描进度指示。
图4A示出了显示第一组体素442的设备400，体素442对应于在花瓶的第一次捕获期间捕获的花瓶的部分。如图4A所示，第一组体素442显示在花瓶的表示430上，并位于被捕获的花瓶的部分。在一个示例中，在对象本身的表示上显示捕获进度的指示，允许用户接收到捕获成功并被接受的反馈，从而帮助用户直观地识别已捕获的对象部分和尚未捕获的对象部分。
当用户围绕花瓶改变相对于花瓶的角度和/或位置时，设备400连续地执行花瓶的额外捕获。响应于花瓶的额外捕获，并根据额外捕获满足一个或多个捕获标准的确定，设备400显示与额外捕获的花瓶部分相对应的附加体素集。例如对于每个捕获，设备400确定捕获是否满足捕获标准，如果满足，则接受捕获。
例如，用户可以移动设备400，使得标线402位于花瓶430的第二部分之上。为了确定用户已移动设备400，使得标线402位于花瓶的第二部分上方(例如，为了确定标线402位于花瓶的第二部分上方)，设备400执行捕获花瓶的第二部分。在一些示例中，如果第二捕获满足一个或多个捕获标准，则接受第二捕获，并且设备40在与被捕获的花瓶的第二部分相对应的花瓶的表示430上显示第二组体素。
图4B示出在被扫描对象的表示上显示对象扫描进度指示的可选示例。如图4B所示，为了成功地执行对象的一部分捕获，设备400在用户界面401上显示对象表示上的对象扫描进度指示。
在图4A中，对象扫描进度的指示包括改变与成功捕获花瓶430部分相对应的对象表示部分的一个或多个视觉特征。改变视觉特征包括改变对象表示部分的颜色、色调、亮度、阴影、饱和度等。
当设备400确定用户对扫描花瓶感兴趣时，花瓶的表示430以修改的视觉特征显示。如图4B所示，设备400使花瓶的表示430变暗。在一个实施例中，当捕获花瓶的部分时，对捕获的部分进行修改以显示原始的未修改的视觉特征。如图4B所示，已捕获的表示430的部分444更新为更亮。通过这种方式，当设备400捕捉到花瓶的更多部分时，表示430看起来就好像它正在显示花瓶的部分。
图5A-5C举例说明电子设备500显示目标的示例性方法。当设备500确定用户对扫描花瓶感兴趣时，设备500确定花瓶周围的形状550。形状550的生成是基于对花瓶形状和/或大小的初步确定。
当设备500确定用户对扫描花瓶感兴趣时，设备500执行一个或多个初始捕获以确定花瓶的大致形状和/或大小。可以使用深度传感器和视觉光图像传感器执行初始捕获，然耨设备500确定花瓶的形状和/或大小。一旦确定，形状550可以作为一个边界volume，以限制要捕获的对象。
在一个实施例中，形状550不显示在用户界面501中。形状550是围绕花瓶的表示物530的一个三维形状。如图5A所示，形状550为球体。
在一个实施例中，目标552放置在形状550的表面上，使得目标552漂浮在花瓶的代表530周围的三维空间中。每个目标都是放置在花瓶表示530周围的离散位置的离散视觉元素。
每个目标与对象之间的距离在可接受的距离范围内，目标相对于对象所面对的角度在可接受的角度范围内，并且每个目标之间的距离在可接受的距离内。
当将标线502放置在目标上时，并非所有的一个或多个捕获标准都自动满足。例如，摄像头必须保持与目标对齐超过阈值的时间。当设备500围绕花瓶移动时，目标在三维空间中保持在相同的位置，允许用户在用户围绕花瓶移动设备500时将标线502与目标对齐。
参照图5A，设备500的定位使得标线502不与任何目标对齐。因此，如图5A所示，没有拍摄和/或接受花瓶的照片。
在图5B中，用户已移动设备500，使得标线502现在至少部分地与目标552-1对齐。为了响应与目标552-1至少部分对齐的标线502，设备500启动用于捕获与目标552-1对应的花瓶部分的过程。
如图5B所示，当设备500执行捕获时，目标552-1显示进度指示器554。进度指示器554可以是一个矩形进度条。除了显示进度指示器554之外，目标552-1改变一个或多个视觉特征以指示捕获进度。例如，目标552-1可以在捕获发生时改变颜色。
捕获成功完成后，目标552-1在用户界面501中不再显示，如图5C所示。因此，仅接受并保存当标线502与目标对齐时拍摄的捕获。
如图5C所示，设备500显示捕获对象的预览560。预览560包括从与当前由一个或多个捕获设备捕获的对象相同的角度捕获的对象的三维呈现。例如，如果设备500正面对被捕获对象的正面，则预览560将显示被捕获对象的正面。因此，当用户围绕花瓶移动以捕捉花瓶的不同部分时，预览560将相应地旋转和/或转动花瓶的预览。
在一个实施例中，缩放预览560，使得被扫描的对象完全适合于预览560。如图5C所示，花瓶562的整体适合于预览560。
在图5C中，预览560显示了迄今为止已捕获的花瓶部分对应的捕获564。捕获564根据花瓶562的大小进行缩放。如果被扫描的对象的大小较大，则由于第一次捕获可能捕获该对象的一小部分，因此可以以较小的尺寸显示捕获564。另一方面，如果被扫描对象的大小较小，则由于第一次捕获可能捕获该对象的很大比例，因此可以显示大尺寸的捕获564。
如果设备500确定特定捕获不满足一个或多个捕获标准，则目标552-1继续显示，以向用户指示需要在目标552-1上进行另一次捕获尝试。
在一个实施例中，当设备500确定用户对扫描花瓶感兴趣时，设备500可以根据花瓶的初始捕获确定对象的特定部分需要额外捕获。为了响应于确定需要额外捕获，设备500可以将一个或多个附加目标放置在边界volume的表面上或边界volume表面的内部或外部。
以这种方式，设备500可以在开始时确定需要额外的目标，并在用户界面中以对象表示周围的适当位置和/或角度显示它们。
图6A示出了在第一次捕获被捕获并接受之后的设备600的示例。
在图6A中，在执行与特定目标相关联的成功捕获之后和/或作为对执行与特定目标相关联的成功捕获的响应，设备500确定用于捕获的建议目标。
建议的捕获目标是最接近标线602的目标。其中，建议的捕获目标是需要最少移动量来对齐设备的目标。如果所有剩余目标与标线602和/或刚刚捕获的目标的距离相同，则建议的目标从最近的目标中随机选择。
当用户移动设备600时，建议的目标可能会发生变化。如果用户移动设备600，使得标线602现在更靠近建议目标以外的目标，则设备600可以选择一个新的，更靠近标线602的新位置的建议目标。
设备600改变用于捕获的建议目标的视觉特征，以便在视觉上突出显示建议目标并将其与其他目标区分开来。改变视觉特征包括改变一种或多种颜色、明暗、亮度、图案、大小和/或形状。
图6B示出用户移动设备600以使标线602与目标652-3对齐后的用户界面601。
在图6B中，为响应用户将标线602与目标652-3对齐，设备600改变目标652-3的视觉特征，以表明用户已正确地与目标652-3对齐，并且用于捕获与目标652-3相关的花瓶部分的过程已启动。
改变的视觉特征与选择目标652-3作为建议目标时改变的视觉特征相同。例如，当目标652-3选择为建议目标时，设备600改变目标652-3的颜色，则当用户将602与目标652-3对齐时，设备600将目标652-3的颜色改变为不同的颜色。
图6C示出用户成功捕获花瓶对应于目标652-3的部分后的用户界面601。如图6C所示，为了成功捕获与目标652-3相对应的花瓶部分，表示630包括在表示630上与所捕获的部分相对应的位置的体素。
如图6C所示，为了成功捕获与目标652-3相对应的花瓶部分，更新预览660，使得捕获664显示被捕获的花瓶部分。
设备600将目标652-3的视觉特征改变为具有第三视觉特征。改变的视觉特征与FIGS中改变的视觉特征是相同的。如果当目标652-3选择为建议目标和/或当用户将602与目标652-3对齐时，设备600改变目标652-3的颜色，则当捕获成功时，设备600可以将目标652-3的颜色更改为第三种颜色。在
如图6C所示，为了成功捕获目标652-3对应的花瓶部分，设备600选择下一个建议目标(例如目标652-6)，并根据图6A改变上述下一个建议目标的视觉特征。
在一个实施例中，用户能够物理地改变被扫描对象的方向，并且设备600能够检测方向的变化并相应地进行调整。
例如，用户可以将花瓶倒过来，这样花瓶的底部朝上。设备600能够确定花瓶的方向已经改变，特别是花瓶的底部现在朝上。为了响应这种确定，更新预览660。
由于用户界面601的主要部分正在显示真实世界环境的实时视图，因此表示630颠倒显示。捕获进度的指示显示在表示630上的适当位。
在另一个示例中，用户能够侧转花瓶，并且更新预览660，使捕获664侧转，并且表示630及其伴随体素同样侧转显示。所以，用户可以在对象周围走动并从不同角度扫描对象，然后将对象转向扫描隐藏的区域，例如底部。
苹果指出，扫描/捕获现实世界对象以生成对象的三维模型的过程是响应在扩展现实XR设置中插入虚拟对象的请求而启动。
当在XR设置创建应用程序中操作、生成和/或修改XR设置时，用户可能希望插入一个三维对象模型不存在的对象。用户能够请求插入所述对象，并且作为对该请求的响应，设备启动扫描/捕获适当的真实世界对象的过程，并显示用于扫描/捕获真实世界对象的用户界面。
在完成扫描/捕获现实世界对象的过程后，可以使用XR设置创建应用程序生成占位符模型并将其插入XR设置中。在一个实施例中，占位符模型基于捕获过程中捕获的对象的一般大小和形状。
在捕获对象的过程完成后，对捕获数据进行处理以生成完整的三维模型。处理数据包括将数据传输到服务器，并且在服务器上执行模型的生成。当对象的三维对象模型完成时，XR设置创建应用程序会自动将占位符对象替换为已完成的对象三维模型。在一个实施例中，完成的三维模型是比占位符对象更高的分辨率对象。
相关专利：Apple Patent | Systems and methods for processing scanned objects
名为”Systems and methods for processing scanned objects“的苹果专利申请最初在2022年9月提交，并在日前由美国专利商标局公布。
—
原文链接：https://news.nweon.com/110994
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
