基于特征对齐和高斯表征的视觉有向目标检测 | 杨学,严骏驰

研究意义目标检测作为计算机视觉的基本任务之一，是实例分割、目标跟踪、行人再识别等视觉任务的基础，近二十年得到了广泛的研究和快速的发展。然而通用目标检测常常以水平边界框作为主要的目标表示形式，导致目标检测技术在一些特定领域中的应用受到了限制。

有向目标检测作为通用目标检测的一个扩展研究方向，其主要特点是估计的边界框更加精准并且保留了目标的方向信息，这使其成为上述任务中受欢迎的研究热点之一。例如，

• 场景文字有向检测与识别已广泛应用于金融、银行、保险、汽车等领域，成为人类生活中不可缺少的技术要求；
• 遥感图像中船舶检测、飞机检测、车辆检测、桥梁检测等是水平/有向目标检测的主要研究课题；
• 有向人脸检测可以帮助校正人脸位置，便于进一步的人脸识别，是安全和短视频领域重要的研究课题之一；
• 3D有向目标检测是自动驾驶视觉感知系统的核心组件，它为自动驾驶系统提供车辆周围环境中的各种物体信息 (包括行人、车辆、交通灯、交通标志等)，并为系统做出驾驶决策提供了重要依据。

此外，有向目标检测还可用于智能零售、医学图像、机器人抓取等，如图1所示。

本文工作

面对有向目标检测应用领域中大长宽比、密集排列以及任意方向等主要挑战，本文提出了一种基于单阶段检测方法的级联有向检测器 (R³DetGauss)，如图2(a) 所示。

该检测器采用了一种从粗到细的渐进式回归方法来快速准确地定位目标。考虑到级联检测器中存在的特征不对齐的问题，本文设计了一个用于获得更准确特征的特征精修模块 (FRM) 来提高检测性能，如图2(b) 所示。FRM通过逐像素特征插值将当前精修后的边界框的位置信息重新编码到对应的特征点，进而实现特征的重构和对齐。

本文还采用了具有尺度不变性的归一化的高斯Wasserstein距离作为回归损失来进一步提高估计边界框的质量，计算公式如下所示：

此外，本文基于该距离提出了长宽比感知的自适应样本采样策略，提高了样本分配的质量。样本分配策略如下所示：

主要贡献总结如下：

(1) 为了充分利用不同形式锚点的优势，本文提出了一种从粗到细的渐进式回归的级联检测器，这种方式极大程度提升了检测器的检测性能并保留不错的检测速度。

(2) 指出了基于单阶段级联检测器中所存在的特征不对齐问题。相比最近缺乏明确偏移补偿机制的基于学习的特征对齐方法，本文提出了一种显式的基于直接计算偏移的特征精修模块。本文是第一个在有向目标检测中解决特征不对齐问题的工作。

(3) 在高斯Wasserstein距离回归损失基础上，引入尺度不变性的归一化机制，进一步提高了检测器估计边界框的质量，并避免了损失函数中超参数的引入。

(4) 本文将归一化的高斯Wasserstein距离作为标签分配的新划分标准,使得其与损失函数的度量标准对齐,并进一步提出了长宽比感知的自适应样本采样策略，大大提高了正负样本的分配质量。

(5) 所提出的检测器在4个被广泛使用的遥感影像数据集 (DOTA, DIOR-R, HRSC2016, UCAS-AOD)和1个场景文字数据集 (ICDAR2015) 上取得了有竞争力的性能表现。

实验结果

通过多尺度训练和测试、数据增强和更强的骨干网络，本文所提出的检测器最终在DOTA-v1.0数据集上取得了81.65%的mAP，超过了目前在该数据集上表现最先进的方法。具体在每一个类别上的性能比较如表5所示。表6展现了R³DetGauss在DIOR-R上同样具备有竞争力的表现。

图3展示了本文所提出的方法在DOTA-v1.0数据集上的不同场景的检测可视化，包括大长宽比、密集排列和任意方向等案例。

文章信息

杨学, 严骏驰. 基于特征对齐和高斯表征的视觉有向目标检测. 中国科学: 信息科学, doi: 10.1360/SSI-2022-0410