网易伏羲联合中科大获RoboDepth鲁棒深度估计竞赛冠军

近期，由全球机器人和自动化领域的顶级学术会议ICRA 2023(International Conference on Robotics and Automation）举办的RoboDepth鲁棒深度估计竞赛公布结果，网易伏羲联合中科大於俊老师团队，从近百支参赛队伍中脱颖而出，凭借Refining Robust Depth Estimation through Mased Training项目，获得监督学习赛道冠军。本次比赛使用的数据集是行业内第一批充分覆盖多种复杂现实场景的公开数据集，因而比赛结果对于衡量参赛模型是否具备成熟的落地条件，具有权威的参考价值。

单目和立体图像的深度估计，对于AI面向现实世界的视觉感知系统有至关重要的作用，特别是在现实自动驾驶和机器人导航控制等领域的应用中。尽管对于深度估计模型的研发已经取得了一定的进展，但现有基于学习的深度估计模型大多是基于一些干净的公开数据集进行训练和测试的，忽略了分布外（Out-of-Distribution, OoD）的情况。在应用场景中，体现为现实世界中的复杂场景带来的不同干扰，这使自动驾驶和智能机器人导航等技术在落地应用时，存在难以预测的安全隐患。

鲁棒的深度估计技术可通过低成本工业相机实现对复杂现实世界的3D感知，安全的自动驾驶和机器人导航控制，需要更具鲁棒性的深度估计模型来保证。为提升业界对鲁棒深度估计的关注，促进对鲁棒深度估计算法的研发，ICRA2023推出了“The Robo Depth Challenge”深度估计大赛，主要分为自监督学习和监督学习两个赛道。本次比赛首次推出多种OoD场景数据，从以下三个角度提出总共18种场景数据，旨在通过分析算法对不同场景的鲁棒性来评估参赛模型的优劣：包括不同天气和光照条件，如晴天，弱光、雾、霜、雪，逆光等；传感器故障或者偏移，如由运动产生的变焦、模糊、散焦等；数据故障问题，如由于硬件故障产生的高斯噪声、脉冲等。

网易伏羲联合中科大於俊老师团队的参赛项目：Refining Robust Depth Estimation through Mased Training，主要针对单目深度估计任务，通过优化backbone和设计特殊数据增强的方式提高深度估计模型在复杂数据(OoD)上的鲁棒性。通过类似于MIM预训练所得的模型具有较好的鲁棒性，因此选择了AiT和Swinv2-MiM作为backbone；进一步的，发现MAE也可以作为一种强有力的数据增强手段，将重建之后的图像与原图融合，可以一定程度提高模型的泛化性能。除此之外，还发现CutFlip操作，即将图像上下切分并调换位置，针对深度估计任务有独到的提升。其弱化了模型对于图像垂直空间上的依赖关系，从而能够更多的关注图像中的语义信息。最后，在推理过程中，对于严重损坏的图像，进行超分辨率处理可以明显抑制信息损失，有效提高深度估计精度。这些实验和探索为深度估计任务的研究提供了新思路和方法。

目前，项目所涉及的相关技术已应用于网易伏羲智能挖掘机与智能装载机，伏羲工程机器人团队通过工业级相机以及深度估计算法实现对工作场景的实时重建，可实现挖机的远程操控作业以及装载机的无人化作业。解决了传统作业方式中，机上人工作业，操作繁琐，人力成本高等问题，并有效避免针对恶劣环境的现场作业中，可能存在的塌方、泥石流等地质风险。

在智能挖掘机项目中，重建的地图可构建数字孪生场景，实现工作人员远程对智能挖掘机的观察和交互控制。在挖掘机上装配工业级单目相机和立体相机，可基于深度估计算法实现对场景的实时深度估计，并在远程客户端完成对挖机工作场景的在线重建和3D渲染，构建数字孪生体验场景。操控人员能够在远程办公室场景下，基于重建出的孪生场景实现对挖机的控制，一个人可同时远程操控10-20台甚至更多的实体挖掘机，免除了挖机工作人员在极端条件下现场作业的风险，将挖机作业转换为有趣的游戏体验。继去年年底参与西南国家高原铁路基建项目建设后，今年，网易伏羲将持续探索智能挖掘机在其他建筑场景落地可能性。目前，如浙江桐庐露天矿山中，伏羲智能挖掘机已实现单人同时操作多台挖掘机，全天候进行碎石和石头装车任务。

在智能装载机项目中，深度估计结果可提供丰富的3D感知数据，辅助工程机械在无人操控情况下进行自主导航和作业。智能装载机上装配有多个摄像机，通过深度估计算法实现对现场的实时深度估计，基于深度估计结果实现多种3D感知任务，包括障碍物感知，可行驶区域感知和装料、卸料区域感知等。基于3D感知结果，装载机能够自主导航与作业，实现无人操控下装载机的全自主作业任务，大大降低人力成本。目前，网易伏羲无人装载机器人已落地应用于中建八局沪苏通铁路等工程项目，并将于今年内实现批量交付，让建筑工人告别危险的作业环境，实现安全、高质量施工生产。

关于网易伏羲

网易伏羲成立于2017年，是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表200多篇AI顶会论文，拥有600多项发明专利，以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前，网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品，已服务超200家客户，应用日均调用量超数亿次。