(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211217811.8 (22)申请日 2022.09.30 (71)申请人 云南大学 地址 650091 云南省昆明市五华区翠湖北 路2号 申请人 云南览易网络科技有限责任公司 (72)发明人 廖赟　邸一得　周豪　朱开军　 (74)专利代理 机构 昆明金科智诚知识产权代理 事务所(普通 合伙) 53216 专利代理师 彭志鼎 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多重特征匹配的多模态图像特征匹配 方法 (57)摘要 本发明提供一种基于多重特征匹配的多模 态图像特征匹配方法， 该方法使用数据增强， 对 不同模态的一组图像进行仿射变换和随机裁剪， 生成增强后的图像数据和相应的匹配矩阵GT_ Matrix； 设计卷积神经网络和特征金字塔提取多 尺度的图像特征； 设计Transformer网络进一步 对1/8尺寸的粗粒度特征进行提取， 生成粗粒度 的注意力特征； 使用双向softmax处理细粒度的 注意力特征， 生成置信度矩阵， 以匹配矩阵GT_ Matrix为标签进行粗匹配； 设计局部特征窗口， 通过Transformer和卷积神经网络 特征融合和特 征提取， 进行精化回归； 使用精化回归对粗匹配 的预测结果进行再调整， 最终实现精确的多模态 图像特征匹配。 权利要求书4页 说明书15页 附图10页 CN 115496928 A 2022.12.20 CN 115496928 A 1.基于多重特 征匹配的多模态图像特 征匹配方法， 其特 征在于， 包括以下步骤： S1： 使用数据增强方法， 对不同模态的一组图像进行仿射变换和随机裁剪， 生成增强后 的图像数据和相应的匹配矩阵GT_Mat rix； S2： 设计卷积神经网络和特征金字塔提取多尺度的图像特征， 分别为1/8尺寸特征和1/ 2尺寸特征； S3： 设计Transformer网络进一步对1/8尺寸的粗粒度特征进行提取， 生成粗粒度的注 意力特征； S4： 使用双向softmax函数处理粗粒度的注意力特征， 生成置信度矩阵， 再以匹配矩阵 GT_Matrix为标签进行粗匹配； S5： 设计局部特征窗口， 通过Transformer和卷积神经网络特征融合和特征提取， 进行 精化回归； S6： 使用精化回归对粗匹配的预测结果进行再调整， 最终实现精确的多模态图像特征 匹配。 2.根据权利要求1所述的基于多重特征匹配的多模态图像特征匹配方法， 其特征在于， 所述S1中， 生成增强后的图像数据和相应的匹配矩阵GT_Mat rix， 具体如下： 输入为不同模态的索引图Imgq和参考图Imgr， 输出分别为原始图像的随机增强图像Iq、 Ir， 以及增强图像Iq和Ir之间的补丁级匹配标签GT矩阵； 对两种不同模态的图像分别进行随机裁剪， 如果裁剪后的Im gq和Imgr重叠， 则重叠部分 可以相互转 化； Iq和Ir的获取方式如下： Iq＝RandomCrop(QM ×Imgq) Ir＝RandomCrop(RM ×Imgr) 其中， 在图像增强过程中， RM是在索引图Imgq上的随机仿射矩阵， QM是在参考图Imgr上 的随机仿射矩阵； RandomCrop表示在图像上的随机 仿射变换。 3.根据权利要求1或2所述的基于多重特征匹配的多模态图像特征匹配方法， 其特征在 于， 所述S1中， 生成相应的匹配矩阵GT_Mat rix， 具体如下： 将增强图像Iq划分为N＝W/p ×H/p网格， 其中N为网格 数， W和H为图像的高度和宽度， p × p为网格单元格大小； 对于每个网格单元， 定义一个网格单元坐标， 其中第n个网格单元坐标 计算如下： 上式中， 是Iq图像的网格单元格坐标， n为网格数， W为图像 的高度， p是网格单 元格的边长， 其中 n＝0,…n； 将增强图像Iq中所有网格的中心点作为 查询点， 其索引点像素坐标 定义如下： 上式中， 是Iq图像的网格单元格坐标， 是获取索引点坐 标的函数， p是网格单 元格的边长；权　利　要　求　书 1/4 页 2 CN 115496928 A 2将参考图Im gr中与查询点对应的点定义为参考点， 其参考点的像素坐标定义为 参考点是通过从查询点获得的， 使用的是与图像仿射变换相同的矩阵； 通过变换从查询点 得到参考点， 其表达式如下： 上式中， 是索引点像素坐标， 是获取参考点坐标的函 数； 获得参考点的像素坐标 后， 提取参 考点的网格单 元坐标为： 上式中， 是Ir图像的网格单元格坐标， 是获取网格单元格坐标的 函数， []表示向下 取整数； Iq的网格单 元在Ir中的映射计算如下： 上式中， 由于Ir只与Iq部分重叠， 可能在Ir图像的内部 或外部， 如果 在 Ir图像中， 则： GT矩阵是N ×N的方阵， GT(i， j)表示GT矩阵第i行第j列的元素， 如果GT(i， j)＝1， 则表 示图像Iq中的第i个网格单 元与图像Ir中的第j个网格单 元匹配。 4.根据权利要求1所述的基于多重特征匹配的多模态图像特征匹配方法， 其特征在于， 所述S2中， 设计卷积神经网络和特 征金字塔提取多尺度的图像特 征， 具体如下： 网络接受大小为320 ×320×3的数据， 输出大小为1/8尺寸特征和1/2尺寸特征， 1/8尺 寸特征是40 ×40×512， 1/2尺寸特征是160 ×160×320， 结合带有特征金字塔的卷积神经网 络融合低分辨率语义信息和高分辨率空间信息的特征图， 增强后的数据通过带有 特征金字 塔的卷积神经网络生成两组不同尺度的特 征。 5.根据权利要求1所述的基于多重特征匹配的多模态图像特征匹配方法， 其特征在于， 所述S3中， 设计Transformer网络进一步对1/8尺寸的粗粒度特征进行提取， 生成粗粒度的 注意力特 征， 具体如下： 设计的Transformer网络使用线性注意力机制代替 点积注意力机制； 设计的Transformer包含自我注意层和交叉注意层， 输入序列f是由特征Fq加上它的位 置数据p得到的； 位置编码以正弦格式为每个元素提供唯一的位置信息， 通过添加位置编 码， 转换后的特征变得与位置相关， 使基于多重特征匹配的多模态图像特征匹配方法即使 在模糊的区域 也能生成匹配； 在自我注意层中， Q、 K和V由相同的输入序列f产生， 从而学习到一张图片内部特征之间 的关系； 在交叉注意层中， Q由一个输入序列fi生成， K和 V由另一个输入序列fj生成， 从而学 习不同模态的成对图像之间的关系； 特征通过4个交替的自注意层和交叉注意层生成输出权　利　要　求　书 2/4 页 3 CN 115496928 A 3