(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210396604.7 (22)申请日 2022.04.15 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 李树涛　丁可心　卢婷　付巍　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 谭武艺 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种遥感高光谱与激光雷达图像融合分类 方法及装置 (57)摘要 本发明公开了一种遥感高光谱与激光雷达 图像融合分类方法及装置， 本发 明方法包括将高 光谱图像 T1和雷达图像 T2融合得到像素级融合 图像Tp； 对Tp进行超像素分割得到标签矩阵 L， 参 照L对Tp进行逐超像素均 值化处理得到超像素级 融合图像 Tsp； 对Tp、 Tsp降维得到降维后的像素级 融合图像 Tpd、 超像素级融合图像 Tspd； 对Tpd、Tspd 特征融合得到融合特征 F， 引入空间注意力模块 优化得到优化融合特征 Fo； 利用分类器进行分类 得到分类结果 G。 本发明能够 充分利用像素级/超 像素级光谱差异特性和空间结构特性， 可提取结 构更加紧凑、 辨识性更高的多模态多层级融合特 征， 实现面向遥感高光谱图像与雷达图像的高效 融合分类 。 权利要求书2页 说明书10页 附图5页 CN 114694039 A 2022.07.01 CN 114694039 A 1.一种遥感高光谱与激光雷达图像融合分类方法， 其特 征在于， 包括： 1） 将高光谱图像 T1和雷达图像 T2融合得到像素级融合图像 Tp； 2） 对像素级融合图像 Tp进行超像素分割得到标签矩阵 L， 参照标签矩阵 L对像素级融合 图像Tp进行逐超像素均值 化处理得到超像素级融合图像 Tsp； 3） 对像素级融合图像 Tp进行降维得到降维后的像素级融合图像 Tpd， 对超像素级融合图 像Tsp进行降维得到降维后的超像素级融合图像 Tspd； 4） 对降维后的像素级融合图像 Tpd和超像素级融合图像 Tspd进行特征融合得到融合特征 F， 引入空间注意力模块对融合特 征F进行优化， 得到优化融合特 征Fo； 5） 利用预设的分类 器对优化融合特 征Fo进行分类， 得到分类结果 G。 2.根据权利要求1所述的遥感高光谱与激光雷达图像融合分类方法， 其特征在于， 步骤 1） 包括： 1.1） 将高光谱图像 T1和雷达图像 T2的地理坐标信息进行统一； 1.2） 采用Gram ‑Schmidt算法， 将高光谱图像 T1作为低分辨率图像、 将雷达图像 T2作为高 分辨率图像， 利用高光谱图像 T1波段的平均值来模拟低分辨率的全色波段， 并将其作为行 Gram‑Schmidt变换的第一个分量 GS1对高光谱图像 T1进行Gram ‑Schmidt变换； 1.3） 通过调整雷达图像 T2的统计值来匹配Gram ‑Schmidt变换的第一个分量 GS1以产生 修改的高分辨率波 段图像， 将修改 的高分辨率波 段图像替换Gram ‑Schmidt变换的第一个 分 量GS1得到一个新的数据集， 对新的数据集进行Gram ‑Schmidt反变换得到像素级融合图像 Tp。 3.根据权利要求1所述的遥感高光谱与激光雷达图像融合分类方法， 其特征在于， 步骤 2） 包括： 利用简单线性迭代聚类算法将像素级融合图像 Tp分割为设定的超像素个数 n_ segments 个不规则的超像素块， 每个超像素块被分配给不同的标签值， 得到标签矩阵 L； 参 照标签矩阵 L中相同标签的索引位置计算得到像素级融合图像 Tp的每个超像素块中的像素 均值vmean， 用求得的像素均值 vmean替代像素级融合图像 Tp中每个超像素块对应索引位置的 像素值， 得到超像素级融合图像 Tsp。 4.根据权利要求3所述的遥感高光谱与激光雷达图像融合分类方法， 其特征在于， 步骤 2） 之前还包括设定超像素个数 n_segments 的步骤， 且超像素个数 n_segments 的计算函数表 达式为：n_segments =(w×h)/num_pixels ， 上式中， w和h分别表示像素级融合图像 Tp的宽度 与高度，num_pixels 为定义的每 个超像素包 含的像素个数。 5.根据权利要求1所述的遥感高光谱与激光雷达图像融合分类方法， 其特征在于， 步骤 4） 中对降维后的像素级融合图像 Tpd和超像素级融合图像 Tspd进行特征融合之前还包括对降 维后的像素级融合图像 Tpd和超像素级融合图像 Tspd进行零填充使图像大小与降维前一 致。 6.根据权利要求1所述的遥感高光谱与激光雷达图像融合分类方法， 其特征在于， 步骤 4） 中对降维后的像素级融合图像 Tpd和超像素级融合图像 Tspd进行特征融合 是指利用双通道 参数交叉卷积神经网络对降维后的像素级融合图像 Tpd和超像素级融合图像 Tspd进行特征融 合， 所述双通道参数交叉卷积神经网络包括依 次相连的浅层特征学习模块、 参数交叉特征 融合模块与深层特征学习模块； 所述浅层特征学习模块为三层结构， 第一层和第三层由卷 积模块和RELU函数模块组成， 第二层由卷积模块、 最大池化模块和RELU函数模块组成， 降维 后的像素级融合图像 Tpd经过浅层特征学习模块后得到对应的初始特征 fTp， 降维后的超像权　利　要　求　书 1/2 页 2 CN 114694039 A 2素级融合图像 Tspd经过浅层特征学习模块后得到对应的初始特征 fTsp； 参数交叉特征融合模 块为两层结构， 第一层由卷积模块、 最大池化模块和RELU函数模块组成， 第二层为级联层， 初始特征 fTp和fTsp在参数交叉特征融合模块中通 过参数交叉利用并级联得到交叉级联融合 特征fii； 深层特征学习模块为三层结构， 第一层由卷积模块和RE LU函数模块组成， 第二层由 卷积模块、 平均池化模块和RELU函数模块组成， 第三层为卷积模块， 深层特征学习模块通过 三层结构对交叉级联融合特征 fii进行深层特征学习得到融合特征 F； 步骤4） 中引入空间注 意力模块对融合特征 F进行优化包括： 对融合分类特征F分别从通道维度进行最大池化与 平 均池化， 再将这两个计算结果合并为二维特征 f[MaxPool,AvgPool]， 最后通过一层卷积操作和 Sigmoid激活函数 得到网络最终输出的一维的优化融合特 征Fo。 7.根据权利要求6所述的遥感高光谱与激光雷达图像融合分类方法， 其特征在于， 所述 参数交叉特征融合模块中， 初始特征 fTp通过参数交叉特征融合模块的第一层得到的单源特 征f1， 初始特征 fTsp通过参数交叉特征融合模块的第一层得到的单源特征 f2； 在参数交叉特 征融合模块的级联层中， 将浅层特征学习模块对降维后的超像素级融合图像 Tspd学习到的 网络参数作用于单源特征 f1得到特征 p2(f1)， 将单源特征 f1和特征p2(f1)进行级联得到级 联 特征f1i=[f1,p2(f1)]； 将浅层特征学习模块对降维后的像素级融合图像 Tpd学习到的网络参 数作用于单源特征 f2得到特征 p1(f2)， 将单源特征 f2和特征p1(f2)进行级联得到级联特征 f2i =[f1,p1(f2)]； 将单源特征 f1和级联特征 f2i=[f1,p1(f2)]进行交叉得到交叉特征 f1+p1(f2)； 将单源特征 f2和级联特征 f1i=[f1,p2(f1)]进行交叉得到交叉特征 f2+p2(f2)； 将交叉特征 f1+ p1(f2)和交叉特征 f2+p2(f2)进行级联得到交叉级联融合特征[ f1+p1(f2), f2+p2(f1)]并作为 交叉级联融合特 征fii。 8.根据权利要求6所述的遥感高光谱与激光雷达图像融合分类方法， 其特征在于， 步骤 4） 之前包括对双通道参数交叉卷积神经网络、 空间注意力模块进行训练的步骤， 且对双通 道参数交叉卷积神经网络、 空间注意力模块进行训练时采用的损失函数 Loss函数表达式 为： 上式中，Ys为真实标签， Yfsi为分类器预测得到的标签， i表示第i个样本，s表示不同的网 络分支，N表示样本总数， c表示每个 地物类别的真实标签， M表示地物类别总数， yic表示为符 号函数， 如果样 本i等于真实标签 c时符号函数 yic取1、 否则符号函数 yic取0，pic表示样本i等 于真实标签 c的概率。 9.一种遥感高光谱与激光雷达图像融合分类装置， 包括相互连接的微处理器和存储 器， 其特征在于， 该微处理器被编程或配置以执行权利要求1～8 中任意一项所述遥感高光 谱与激光雷达图像融合分类方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质中存储有计算机程 序， 且该计算机程序用于被计算机 设备执行以实施权利要求 1～8中任意一项 所述遥感 高光 谱与激光雷达图像融合分类方法的步骤。权　利　要　求　书 2/2 页 3 CN 114694039 A 3