(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210319962.8 (22)申请日 2022.03.29 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 张洪艳　王文高　曹伟男　杨光义　 张良培　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/58(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 低秩先验与空谱信息引导的多-高光谱影像 融合方法 (57)摘要 本发明公开了一种低秩先验与空谱信息引 导的多‑高光谱影像融合方法， 提出了一种全新 的结合空谱引导与低秩先验的多层多分支融合 网络SSLRNet， 该网络首先构造多层多分支融合 子网络(MLMB)， 旨在从多个分支进行特征的提 取， 并进行多层特征融合， 重建出初步的融合影 像。 之后， 构造基于空谱引导的融合影像空间光 谱纠正子网络， 通过多光谱影像波段叠加求和影 像与高光谱影像波段平均值影像对MLMB生成的 初步融合影像进行空间光谱引导， 缩小空间光谱 扭曲。 最后， 构造基于低秩神经网络的融合影像 低秩先验约束子网络， 与深度学习网络相结合， 利用网络自身特性进行低秩分解， 使融合结果更 符合真实应用需求。 本发明提高了网络的融合精 度， 更符合真实应用需求。 权利要求书3页 说明书8页 附图2页 CN 114862731 A 2022.08.05 CN 114862731 A 1.低秩先验与空谱信息引导的多 ‑高光谱影 像融合方法， 包括以下步骤： 步骤1， 对给定高光谱影像与多光谱进行高斯滤波与下采样， 生成网络训练时的输入， 原始高光谱影 像作为目标影 像， 用以计算损失函数； 步骤2， 构造结合空谱引导与低秩先验的多层多分支网络， 将下采样的高光谱影像与多 光谱影像输入， 然后设置网络的超参数， 根据损失函数训练网络， 直至训练收敛或达到最大 训练轮数； 其中， 构造结合空谱引导与低秩先验的多层多分支网络的具体结构如下； 首先， 构造多层多分支融合子 网络MLMB， 从多个分支进行特征的提取， 并进行多层特征 融合， 重建出初步的融合影像， 其通过多分支的方式有效提取高光谱影像与多光谱影像的 特征， 通过多层次融合的策略使得特征之间的融合更加充分， 包括特征提取部分， 特征融合 部分以及影 像重建部分； 然后， 构建基于空谱引导的融合影像空间光谱纠 正子网络， 利用低光谱分辨率高空间 分辨率影像波段叠加求得的灰度值引导融合影像的空间重 建避免融合影像的空间扭曲， 获 得经过空间约束后的融合影像； 利用低空间分辨率高光谱分辨率影像各个波段平均灰度值 引导融合影像的光谱重建避免融合影像的光谱扭曲， 获得经过空间光谱约束后的融合影 像； 步骤3， 网络训练完成之后， 将原始的高光谱影像与多光谱影像输入网络， 实现影像间 的融合， 得到高分辨 率的高光谱影 像。 2.根据权利要求1所述低秩先验与空谱信 息引导的多 ‑高光谱影像融合方法， 其特征在 于： 在步骤1中， 首先采用高斯卷积核对原始高光谱影像 与原始多光谱影像 进行高斯滤波： 式(1)为二维高斯核公式， 其中σ 代表标准差， x和y分别代表对应像素到中心像素的横 纵坐标差， 之后对滤波后的影像进行双线性下采样， 最终得到步骤2构建的网络的训练输 入： 高光谱影像 和多光谱影像 其中W＝rw,H＝rh,L＞＞l， 这里W,H,l 分别代表多光谱影像的长度， 宽度和波段数， w,h,L分别代表高光谱影像的长度， 宽度和波 段数， r代表多光谱长度宽度与高光谱长度宽度之间的比值， 同时原始高光谱影像 作为网络训练时的目标影 像 3.根据权利要求1所述低秩先验与空谱信 息引导的多 ‑高光谱影像融合方法， 其特征在 于： 步骤2中， 在MLMB网络的特征提取部 分， 采用多分支的特征提取方式， 旨在 充分提取高光 谱影像与多光谱影像的特征， 其具体过程为： 首先， 为避免两幅影像特征之间的互相干扰， 将两幅影像进行单独地输入， 构造多光谱影像特征提取分支和高光谱影像特征提取分支， 并在两个分支中采用同样的特征提取模块进 行特征的有效提取； 其次， 特征提取模块中， 利 用跳跃连接的方式构造一个深层特征提取分支， 使用七个卷积层进行特征提取， 并将第一 个卷积层与第三个卷积层的结果进行相加， 作为第四个卷积层的输入， 将第四个卷积层与 第六个卷积层的结果进行相加， 作为第七个卷积层的输入， 其第七个卷积层的输出作为该 深层分支所提取的最终特征； 浅层特征提取分支使用三个不同卷积层依次进行特征的提权　利　要　求　书 1/3 页 2 CN 114862731 A 2取， 第三个卷积层的结果作为该浅层分支所提取的最终特 征。 4.根据权利要求3所述低秩先验与空谱信 息引导的多 ‑高光谱影像融合方法， 其特征在 于： 步骤2中， 在MLMB网络的特征融合部 分， 采用多层次融合的策略， 旨在 使特征融合的更加 充分， 这里的多层次融合策略指的是深层特征融合， 浅层特征融合， 以及深浅特征融合， 其 具体过程为： 首先， 使用三层卷积将多光谱影像和高光谱影像的深层特征融合， 用以得到融 合影像的深层特征； 与此同时， 同样使用三层卷积将多光谱影像和高光谱影像的浅层特征 融合， 用以得到融合影像的浅层特征； 最后将融合影像的深层特征与浅层特征通过一个三 层卷积进行融合， 得到融合影 像的特征， 用于之后的影 像重建。 5.根据权利要求1所述低秩先验与空谱信 息引导的多 ‑高光谱影像融合方法， 其特征在 于： 步骤2中， 在MLMB网络的重建部分， 使用三个 反卷积层 进行重建， 反卷积层均使用ReLU激 活函数进行激活， 其作用是将输入的负值变为0， 如下公式所示： f(x)＝max(0,x)                 (2) 在这里， x代 表函数的输入值。 6.根据权利要求1所述低秩先验与空谱信 息引导的多 ‑高光谱影像融合方法， 其特征在 于： 多层多分支融合子网络 MLMB的具体处 理过程用如下公式表示； ZMLMB＝Re(F(FD(D(X)+D(Y) )+FS(S(X)+S(Y) )))        (3) 在这里D(*)代表生成深层特征提取分支， S(*)代表浅层特征提取分支， S(*)代表深层 特征融合层， FS(*)代表浅层特征融合层， F(*)代表深层浅层特征融合层， Re(*)代表影像重 建层， ZMLMB代表经过MLMB模块的初步的融合影 像。 7.根据权利要求1所述低秩先验与空谱信 息引导的多 ‑高光谱影像融合方法， 其特征在 于： 步骤2中通过空间引导部 分Spag避免融合影像的空间扭曲， 获得经过 空间约束后的融合 影像； 所述空间引导部分Spag以多光谱影像作为输入， 空间引导值作为输出， 由六个卷积层 组成， 左侧 三个卷积层主要通过卷积的方式对多光谱影像进行编码， 右侧 通过三个卷积层 对其进行解码， 中途采用跳跃连接的方式将第二个卷积层的输出与第三卷积层的输出进 行 叠加作为第四卷积层的输入， 并将第四卷积层的输出与第一卷积层的输出叠加作为第五卷 积层的输入， 后 将第五卷积层的输出输入第六卷积层， 得到最终的空间约束值， 其中前五个 卷积层使用ReLU激活函数， 而在第六卷积层则使用Sigmoid激活函数， 该激活函数可以将 输 入的值从归一 化到0‑1之间， 其具体如下公式所示： 在这里， x代表函数的输入值， 因为在第六卷积块 中使用的是Si gmoid激活函数， 故空间 约束值 值在0‑1之间， 后将该值应用在MLMB模块初步融合的影响上对其进行空 间上的引导与纠正， 得到具有较少空间扭曲的融合影像 整个过程的具体做 法如下公式所示： 在这里ZMLMB代表经过MLMB模 块得到的初步的融合影像， Spag代表Spag模 块训练得到的空 间约束值， 代表逐像素相乘， i代 表对应波段， ZSpag代表经过空间约束后的融合影 像。权　利　要　求　书 2/3 页 3 CN 114862731 A 3