(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210328519.7 (22)申请日 2022.03.31 (71)申请人 江西财经 大学 地址 330013 江西省南昌市经济技 术开发 区双港东大街169号 (72)发明人 左一帆　黄小水　曲文涛　方玉明　 温文媖　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 代理人 黄攀 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/54(2022.01) G06V 10/46(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于点云配准的多模态特征融合方法 与系统 (57)摘要 本发明提出一种用于点云配准的多模态特 征融合方法与系统， 该方法包括： 采用渐进式下 采样多尺度方式提取得到点云结构特征以及图 像纹理特征； 基于Transformer交叉注意力机制 初步融合点 云结构特征与图像纹理特征； 采用渐 进式上采样多尺度方式深度融合点云结构特征 以及点云融合特征以得到高质量点云特征； 将高 质量点云特征输入至特征激活映射模块中， 从高 质量点云特征中选取其中一个点特征作为目标 点云特征， 计算得到对应的原始点贡献度， 最后 将综合贡献度以3D热度图的形式可视化以得到 目标点云特征3D热度图。 本发明不仅能鲁棒地融 合图像纹理特征与点云结构特征， 并且可解释性 强， 运算复杂度低。 权利要求书4页 说明书12页 附图3页 CN 114419412 A 2022.04.29 CN 114419412 A 1.一种用于点云配准的多模态特征融合方法， 用于通过深度神经网络以实现点云结构 特征与图像纹理特征的融合， 所述深度神经网络的拓扑结构包括依次连接的特征提取编码 器、 注意力融合模块、 特征融合解码器以及特征激活映射模块， 其特征在于， 所述方法包括 如下步骤： 步骤一、 获取同一场景的点云数据与图像数据， 并根据所述点云数据与所述图像数据 划分训练集与测试集； 步骤二、 通过所述特征提取编码器， 采用渐进式下采样多尺度方式分别对所述点云数 据以及所述图像数据进行提取以得到点云结构特 征以及图像纹 理特征； 步骤三、 通过所述注意力融合模块， 基于Transformer交叉注意力机制， 对所述点云结 构特征以及所述图像纹 理特征进行初步融合， 以得到点云融合特 征； 步骤四、 通过所述特征融合解码器， 采用渐进式上采样多尺度方式深度融合所述特征 提取编码器输出 的点云结构特征， 以及所述注意力融合模块输出 的点云融合特征， 以得到 高质量点云特征； 步骤五、 将所述高质量点云特征输入至所述特征激活映射模块， 从所述高质量点云特 征中选取其中一个点特征作为目标点云特征， 通过梯度反向传播方式获取所有原始 点对所 述目标点云特征 的原始点贡献度， 根据所述原始点贡献度计算得到综合贡献度， 并将所述 综合贡献度以3D热度图的形式可视化以得到目标点云特 征3D热度图。 2.根据权利要求1所述的一种用于点云配准的多模态特征融合方法， 其特征在于， 在所 述步骤一中， 所述训练集的构建方法包括如下步骤： 在所述图像数据中选取与点云Z轴投影姿态一 致的场景纹 理图像； 根据预设体素， 对所述点云数据进行渐进式下采样得到点云， 并对点云进行随机增强； 其中， 对点云进行随机增强的操作包括： 0度旋转， 90度旋转， 180度旋转以及270度旋转； 根据预设图像尺寸， 对所述场景纹理图像进行提取以得到子 图像， 根据随机增强后的 点云以及所述子图像构建得到训练集。 3.根据权利要求2所述的一种用于点云配准的多模态特征融合方法， 其特征在于， 在所 述步骤二中， 通过所述特征提取编码器， 采用渐进式下采样多尺度方式分别对所述点云数 据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征的方法包括如下步 骤： 基于 3D Minkowski  Engin卷积神经网络构建的点云下采样网络， 并显式引入残差网 络以及批量归一化层， 采用渐进式下采样多尺度方式对所述点云数据进 行提取以得到所述 点云结构特 征； 基于2D卷积神经网络构建的图像下采样网络， 采用渐进式下采样多尺度 方式在多个下 采样阶段对所述图像数据进行提取以得到所述图像纹 理特征。 4.根据权利要求1所述的一种用于点云配准的多模态特征融合方法， 其特征在于， 在所 述步骤三中， 通过所述注意力融合模块， 基于Transformer交叉注意力机制， 对所述点云结 构特征以及所述图像纹 理特征进行初步融合， 以得到点云融合特 征的方法包括如下步骤： 以所述点云结构特征作为查询 ， 以所述图像纹理特征作为键 值 对， 基于交叉注 意力机制将查询 与键 的乘积输入至 层以得到特 征相似权 重矩阵 ；权　利　要　求　书 1/4 页 2 CN 114419412 A 2基于所述特 征相似权 重矩阵 以及值 进行矩阵相乘处 理以得到点云纹 理特征 ； 将所述点云纹理特征 与所述点云结构特征进行初步融合， 以得到所述点云融合特征 。 5.根据权利要求4所述的一种用于点云配准的多模态特征融合方法， 其特征在于， 在所 述步骤三中， 所述 查询 与所述键 值 对的计算公式表示 为： 其中， 表示层标准化操作， 表示查询的权重， 表示键 的权重， 表示值 的权重， 表示特征提取编码 器 （10） 输出的点云结构特征， 表示特征提取编 码器 （10） 输出的图像纹 理特征； 所述特征相似权 重矩阵 表示为： 其中， 所述 特征相似 权重矩阵 用于表示点云结构特征中每个 点与图像纹理特征中每 个像素的相似程度， 表示卷积核输出通道维度， 表示转置操作； 所述点云纹理特征 表示为： 其中， 表示线性投影操作； 所述点云融合特 征 表示为： 其中， 表示 处理， 表示矩阵相乘操作， 表示元素相加操作。 6.根据权利要求1所述的一种用于点云配准的多模态特征融合方法， 其特征在于， 在所 述步骤四中， 所述特征提取编码 器包括第一结构特征提取单元 （111） 、 第二结构特征提取单 元 （112） 、 第三结构特 征提取单元 （113） 以及第四结构特 征提取单元 （114） ， 所述高质量 点云特征的计算公式表示 为： 其中， 表示所述高质量点云特征， 表示卷积操作， 表示维度拼接 操作， 表示第一结构特征提取单元 （111） 输出的点云结构特征， 表示第二结构特征权　利　要　求　书 2/4 页 3 CN 114419412 A 3