(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210335554.1 (22)申请日 2022.04.01 (65)同一申请的已公布的文献号 申请公布号 CN 114429424 A (43)申请公布日 2022.05.03 (73)专利权人 中国石油大 学 （华东） 地址 266580 山东省青岛市黄岛区长江西 路66号 (72)发明人 王武礼　李冲　姜雨蒙　王歌　 冷林椿　马晓虎　 (74)专利代理 机构 青岛智地领创专利代理有限 公司 37252 专利代理师 王鸣鹤 (51)Int.Cl. G06T 3/40(2006.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) 审查员 于湃 (54)发明名称 一种适用 于退化方式不定的遥感图像超分 重建方法 (57)摘要 本发明公开了一种适用于退化方式不定的 遥感图像超分重建方法， 属于 数字图像处理技术 领域， 用于遥感图像超分重建， 具体包括： 将遥感 图像进行预处理和数据扩增； 将对比学习和注意 力机制融合表 示遥感图像退化不定的特征， 构建 处理多样化退化方式的遥感图像超分辨率重建 模型。 采用双三次下采样将高分辨率遥感图像转 换为低分辨率遥感图像， 使用MoCo对比学习框架 和对比损失进行无监督图像退化表 示学习， 提取 退化特征， 采用多层光谱空间注 意力模块加强光 谱信息和空间信息之间的联系， 有效提取空谱 联 合特征， 将退化特征和空谱联合特征融合， 通过 上采样重建高分辨率遥感图像。 本发 明能够对 退 化方式多样化的实际遥感图像， 有效超分辨率重 建。 权利要求书2页 说明书6页 附图1页 CN 114429424 B 2022.06.24 CN 114429424 B 1.一种适用于退化方式不定的遥感图像超分重建方法， 其特 征在于， 包括： S1.将遥感图像进行预处理和数据扩增， 将数据集每张图像分割以得到小尺寸的遥感 图像； S2.将对比学习与注意力机制融合， 构建能够处理退化方式多样化的遥感图像超分辨 率重建网络模型； S3.采用双三次下采样 将高分辨 率遥感图像转换为低分辨 率遥感图像； S4.采用对比学习进行 无监督图像退化表示学习， 提取 退化特征； S5.采用光谱空间注意力模块加强光谱信息和空间信息之间的联系， 有效提取空谱联 合特征； S6.将退化特 征和空谱联合特 征融合， 通过 上采样层重建高分辨 率遥感图像； 所述遥感图像超分辨率重建网络模型包括下采样模块、 图像退化模块、 光谱空间注意 力模块和上采样重建模块； 所述图像退化模块以MoCo对比学习框架为基础， 学习各种退化 方式的潜在差异特征， 解决单一退化方式条件下 的超分重建问题； 所述光谱空间注意力模 块共有三层， 每层均为残差结构， 但权重不同， 每层光谱空间注意力模块包含两层光谱空间 注意力卷积模块和两个 卷积， 光谱空间注意力模块学习预测卷积核和基于退化表示 的调制系数， 利用退化信息来 适应特定的退化。 2.根据权利要求1所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在于， 所述图像退化模块包含六层卷积网络和两层多层感知机， 查询像素块得出的退化表示特征 与正样本的退化表示特 征相似， 与负 样本的退化表示特 征不同。 3.根据权利要求2所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在于， 所述光谱空间注意力卷积模块包 含并联的光谱注意力模块和空间注意力模块。 4.根据权利要求3所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在于， 光谱空间注意力卷积模块的特 征提取包括： B1.将低分辨率遥感图像经过 卷积提取初步特征， 将退化表示特征经过两层全 连接层后再进行变形处 理， 作为光谱空间注意力模块的输入； B2.将初步特征和退化表示特征矩阵相乘， 得出输入特征， 再通过并联的光谱注意力模 块和空间注意力模块得到加强后的光谱特 征和空间特 征； B3.将光谱特 征和空间特 征融合得到光谱空间注意力特 征； B4.将光谱空间注意力特 征与初步特 征进行融合。 5.根据权利要求4所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在于， 光谱空间注意力模块的输入特 征为 为： 为图像特征， 为退化表 示特征， 为卷积核大小为 ， 步长 为2的卷积 操作。 6.根据权利要求5所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在于， 光谱注意力模块中输入特 征中不同光谱的特 征矩阵为：权　利　要　求　书 1/2 页 2 CN 114429424 B 2为卷积核为 的卷积操作， sigmo id为激活函数， avg为全局平均池化。 7.根据权利要求6所述的适用于退化方式不定的遥感图像超分重建方法， 其特 征在于， 空间注意力模块中输入特 征不同空间的特 征矩阵为： 。 8.根据权利要求7所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在于， 光谱空间注意力卷积模块中输入特 征不同空间与不同光谱信息融合特 征矩阵为： SSA为光谱空间注意力模块注意力卷积 操作。 9.根据权利要求8所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在于， 光谱空间注意力模块的光谱空间特 征矩阵为： 为光谱空间注意力卷积模块输出的特 征矩阵。 10.根据权利要求9所述的适用于退化方式不定的遥感图像超分重建方法， 其特征在 于， 光谱空间注意力模块采用均方根 误差损失函数来计算损失， 优化训练过程， 损失如下： 为输入的低分辨 率图像， 为光谱空间注意力网络 。权　利　要　求　书 2/2 页 3 CN 114429424 B 3