nerf2nerf: 神经辐射场的成对配准

本文提出了新的3D配准方法：NeRF 的成对配准技术。核心方法是引入”surface field”（表面场）。然后利用 nerf2nerf registration 作为一个 robust 优化，迭代寻找一个 rigid transfromation 以对齐两个场景的surface field。

来源：Arxiv
题目：nerf2nerf: Pairwise Registration of Neural Radiance Fields
作者：Lily Goli, Daniel Rebain, Sara Sabour, Animesh Garg, Andrea Tagliasacchi
论文链接：https://arxiv.org/abs/2211.01600
内容整理：桂文煊

介绍

本文介绍了一种用于神经场成对配准的技术，该技术扩展了经典的基于优化的局部配准（即ICP），以在神经辐射场（NeRF）上操作——从校准图像集合中训练的神经3D场景表示。NeRF不分解光照和颜色，因此为了使配准对光照不变，本文引入了“表面场”的概念——从预先训练的NeRF模型中提取的场，该模型测量点在物体表面上的可能性。然后，将nerf2nerf配准视为一种稳健的优化，该方法迭代地寻求对齐两个场景的表面场的刚性变换。通过引入预先训练的NeRF场景数据集来能够有效评估本文技术的有效性。

本文贡献

以往的方法基本都是基于 radiance 对每个场景进行提取几何表示，但是本文nerf2nerf 仅利用 radiance 进行提取几何表示，并且它是依赖于场景中的几何表示，即使在光照配置中有不匹配也可以配准两个不同场景. 论文的主要贡献总结如下：

1、本文引入”surface fields”，作为点云和多边形网格的替代物，以衡量一个Point落在物体表面的概率，完成3D表示。
2、利用surface fields及它对illumination的不稳定性。
3、能够配准两个不同的场。

方法

两个由NeRF表示的3D场景，且都有一个共享的子结构（e.g. 有一个共同的对象），然后寻求一个 T ∈ SE(3) ,使得两个场景的某些共享子结构对齐。

其中B(0,r)是以原点为圆心，半径为r的欧式圆，D为R³空间中单位向量的子集。在不失一般性的情况下，本文假设域具有相同的规模，并且具有半径为r的有界域，以原点为中心。对两个场景不做进一步的假设，例如知道共享子结构的范围或相同的光照配置。方法仅假设在优化期间可以访问Ra和Rb（即，用于训练 NeRF 的图像不可用），这样就可以将神经场配准问题表述为two-term energy的迭代优化:

光不变配准

本文提出了 surface field 用于估计某空间坐标位于物体表面的可能性。这是由于没有假设场景中的光线配置是相同的，无法使用亮度项比较来进行评价两个场的对齐效果。使用 NeRF 和它的亮度公式来进行生成场景中几何图形（在 NeRF 中与密度场相关）精确的3D表示。给定空间 x 中的一个点，并假设半径为 δ 的密度恒定的欧式球，可以把 surface field 定义为任何摄像机穿过 x 的射线集中一个表面的可能性的最大值，公式如下：

上述公式中， O为相机/射线原点集。另外由于两个独立捕获的场景的密度函数不一定相同（由于相机分布和照明配置影响），因此，可以设置 ε = 0.5，来获得保守估计的物体表面场。

配准策略

由于S^ε (x)是一个分类为 {0,1} 的场，会导致梯度为 0 或梯度爆炸而不好微分，通过将 categorical field 与各向同性均值为 0 的高斯函数进行卷积可以解决：

这样就可以进行可微操作了。

采样

本文提出了 Metropolis-Hastings sampling 抽样方法，在优化迭代过程中，更新样本集 A(t) ——即 A⁽⁰⁾←Q_a，每 N=20 更新一次。算法流程图如图2所示。

总结

本文证明了转换为点云这种有损转换是不必要的，并且直接在神经场上操作不仅是可能的，而且比依赖于这种转换的经典管道性能更好。为了实现这一目标，本文引入了表面场的概念，将其作为一种几何表示，可以从 NeRF 中提取，并且对照明配置是不变的。然后，以 ICP 的“风格”将 nerf2nerf 配准正式化为一个稳健的优化问题，并在一个新的数据集上彻底分析了其性能。将来可以有很多方法可以进行扩展，比如实现具有二阶收敛性的求解器、到自动定义关键点而不是依赖用户干预的技术、从深度配准的思想集成等。