博士生赵恒旺在RAL期刊发表论文

智能车实验室博士生赵恒旺在期刊IEEE Robotics and Automation Letters(简称RAL)上发表论文G3DOA: Generalizable 3D Descriptor with Overlap Attention for Point Cloud Registration，该论文同时在2022 IEEE International Conference on Robotics and Automation（ICRA2022）会议上展示。

➢  研究背景与意义

点云配准在机器人、自动驾驶等相关的应用中有重要作用，其中基于三维描述子的点云配准方法，对初始误差具有较高的鲁棒性，有较广的适用范围。早期人工设计的三维描述子虽然能保持旋转不变性，但是其对噪声和遮挡较为敏感。近年来，得益于深度学习强大的特征表达能力，研究者逐渐关注基于学习的三维描述子。现有基于学习的三维描述子，虽然在一些数据集上表现出较好的性能，但是其泛化性能较差，对数据的变化较为敏感，与实际应用还有一定距离。因此，该工作提出一种新的神经网络（G3DOA）来构建三维描述子，该网络同时学习可泛化的旋转不变三维描述子和其空间重叠概率，来提高三维描述子在不同环境中的泛化性能，旨在提升基于学习的三维描述子的泛化性与实用价值，如图1所示。

图1 G3DOA仅在室内数据集训练泛化到不同室外数据集的效果展示

➢  本文工作

该工作提出的G3DOA网络框架如图2所示，它是一种孪生网络架构，使用具有共享权重的两个分支来处理点云对，以源点云（黄色）和目标点云（蓝色）作为输入，经过处理后，输出每个点云采样点的描述子和重叠分数。

图2 G3DOA网络框架

该网络框架由四个主要模块组成：（1）局部采样和归一化模块将点云转换为旋转不变和尺度不变的表示，并通过随机采样减少点的数量；（2）局部参考系圆柱卷积模块利用多尺度的圆柱形体素和神经网络，学习可泛化且具有区分度的旋转不变特征；（3）重叠区域注意力模块提取两个点云特征编码之间的互上下文信息，并预测每个点的重叠分数，表示该点在两个点云重叠区域概率的大小；（4）描述符输出模块，将特征映射为32维的描述子，并对其进行归一化。

➢  实验结果

为了验证描述子的泛化性，该工作在一个室内数据集（3DMatch）训练网络，在三个室外数据集（ETH、KITTI和SJTU-Mid100）测试。定性效果如图3所示，第一列为输入的点云对。第二列为使用t-SNE降维的描述子可视化，可以看到在不同的数据集的点云上，对应区域（红框）的颜色相似，非对应区域的颜色是具有区分度的，验证了描述符的泛化性、旋转不变性和可区分性。第三列为估计的重叠区域，其中彩色的点表示位于重叠区域的点，灰色点表示位于非重叠区域的点。第四列为使用描述子进行点云配准后的效果，第五列为真值。

图3 G3DOA在不同数据集的可视化结果

使用室内数据集3DMatch训练的模型，在室外ETH数据集测试的定量结果如表1所示，可以看出G3DOA相比其他方法具有更高的FMR，表现出较好的泛化性。

表1 从3DMatch数据集泛化到ETH数据集的定量结果

使用室内数据集3DMatch训练的模型，在室外KITTI数据集测试的定量结果如表2所示，可以看出使用G3DOA提取的描述子配准的点云，具有更高的精度和成功率，表现出较好的泛化性。

表2 从3DMatch数据集泛化到KITTI数据集的定量结果

该工作在英伟达1080TI GPU上，平均提取每个描述子的时间为2.93毫秒,其中预处理的时间为2.40毫秒，网络推理时间为0.53毫秒,表现出了较好的时间效率，如表3所示。

表3 运行时间分析