(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210478048.8 (22)申请日 2022.05.05 (71)申请人 河海大学 地址 211100 江苏省南京市江宁开发区佛 城西路8号 (72)发明人 李鑫　许峰　叶保留　刘凡　吕鑫　 徐振楠　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 张赏 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种遥感图像 语义分割方法及装置 (57)摘要 本发明公开了一种遥感图像语义分割方法 及装置， 该方法在通用编码器 ‑解码器网络架构 下， 分别强化编码器的特征提取能力和解码器的 特征融合能力， 在编码器阶段， 针对空间位置间 和通道间关联关系的提取， 提出了稀 疏空间注意 力模块和稀 疏通道注意力模块， 以少量的计算代 价实现表征增强； 在解码器阶段， 针对采样损失 和多级别特征融合问题， 提出了一种数据依赖上 采样的多级别特征融合策略， 通过可学习的方式 减少特征恢复阶段的损失， 保证表征转化过程中 的保真度。 本发 明不仅能够适用于多分辨率的卫 星遥感图像和无人机遥感图像分割， 而且具有较 高的分类精度和运行效率。 权利要求书4页 说明书9页 附图2页 CN 115187775 A 2022.10.14 CN 115187775 A 1.一种遥感图像 语义分割方法， 其特 征在于， 包括： 将遥感图像数据输入训练好的编码器骨架网络进行编码形成的特 征映射矩阵； 对所述特征映射矩阵进行处理， 得到具有空间依赖强化的特征映射Fp以及具有通道依 赖强化的特 征映射Fc， 并进行级联， 得到具有上 下文信息的特 征映射； 将所述具有上下文信 息的特征映射输入多级别特征融合解码器进行解码， 恢 复到与原 始输入遥感图像大小一 致， 得到语义分割结果。 2.根据权利要求1所述的一种遥感图像语义分割方法， 其特征在于， 还包括， 训练编码 器骨架网络如下： 获取原始遥感图像数据及人工标注的地面真值分别进行子块切割， 并对原始遥感图像 进行数字化比特拉伸， 按照固定比率随机划分训练集、 验证集和 测试集； 将训练集输入编码器骨架网络， 得到编码形成的特征映射矩阵 其中C， H， W分 别指当前 特征映射的通道数、 高度和宽度； 将编码器骨架网络输出的特征映射矩阵输入并行的稀疏空间注意力模块和稀疏通道 注意力模块， 分别获得具有空间依赖强化的特征映射Fp以及具有通道依赖强化的特征映射 Fc， 并进行级联叠加， 形成具有上 下文信息的特 征映射； 将所述具有上下文信息的特征映射输入多级别特征融合解码器， 进行解码， 得到语义 分割结果， 并恢复到与原 始输入遥感图像大小一 致； 将得到的语义分割结果与地面真值进行对比， 计算损 失， 反馈调节编码器骨架网络参 数； 通过不断训练， 得到训练好的编码器骨架网络 。 3.根据权利要求1所述的一种遥感图像语义分割方法， 其特征在于， 对所述特征映射矩 阵进行处 理， 得到具有空间依赖强化的特 征映射Fp， 包括： 将编码器骨架网络输出的特征映射矩阵进行1 ×1卷积处理后， 通过金字塔池化操作进 行重采样特 征锚点； 计算编码器骨架网络输出的特征映射矩阵F与重采样特征锚点矩阵P2的相似度矩阵构 建稀疏的空间注意力矩阵Ap， 矩阵中的元 素Ap(i,j)计算如下： 其中， 表示重采样后特征锚点矩阵中第j个位置特征与输入特征映射中 第i个位置特 征的关联关系， 为特征映射矩阵 经过1×1卷积过后转置构 成， F1(i)为F1中第i个位置特征， P1(j)为重采样后特征锚点矩阵中第j个位置特征， C， H， W分 别为特征映射矩阵的通道数、 高度和宽度， L 为重采样的特 征锚点总数； 根据空间注意力矩阵Ap计算具有空间依赖强化的特 征映射Fp如下： 其中， 表示重采样的特征锚点矩阵， 为注意力矩阵Ap的转置， μ为可 学习的协调参数。 4.根据权利要求1所述的一种遥感图像语义分割方法， 其特征在于， 对所述特征映射矩 阵进行处 理， 得到具有通道 依赖强化的特 征映射Fc， 包括：权　利　要　求　书 1/4 页 2 CN 115187775 A 2将编码器骨架网络输出的特征映射矩阵进行1 ×1卷积操作， 得到通道压缩后的特征映 射； 计算所有通道特征与通道压缩后的特征映射的关系矩阵， 构建稀疏的通道注意力矩阵 Ac， 矩阵中的元 素Ac(i,j)计算如下： 其中， Fs1(i)表示通道压缩后的特征映射Fs1的第i个通道 特征， C1(j)表示输入的特征映 射矩阵F的第j个通道特 征， S为通道压缩后的特 征点数； 根据通道 注意力矩阵Ac计算通道依赖强化的特 征映射Fc如下： 其中， γ是可学习的协调参数， 是通道压缩后的特征映射Fs1的转置， 为输入的特 征映射矩阵， C， H， W分别为特 征映射矩阵的通道数、 高度和宽度。 5.根据权利要求1所述的一种遥感图像语义分割方法， 其特征在于， 将所述具有上下文 信息的特 征映射输入多 级别特征融合解码器进行解码， 包括： 对级联后形成的具有上下文信息的特征映射Fd(i)按如下方式进行逐阶段融合， 得到与 原始输入遥感图像同等空间尺寸的特 征映射： 其中， 表示融合后的特征映射， 表示元素间加和， fd(·)表示数据依赖上采样， i 表示编码器骨架网络中的不同阶段； 将融合恢复后的特征映射通过Softmax函数进行概率化推理， 根据最大类别概率原则 确定目标像素的归属。 6.根据权利要求5所述的一种遥感图像 语义分割方法， 其特 征在于， 还 包括： 设置不同阶段 特征映射的空间尺寸与待恢复的原 始尺寸间比例为： 其中， 表示Fd(i)的空间尺寸， H ×W表示原始图像大小。 7.一种遥感图像 语义分割装置， 其特 征在于， 包括： 编码器骨架网络， 用于将遥感图像数据进行编码形成的特 征映射矩阵； 稀疏模块， 用于对所述特征映射矩阵进行处理， 得到 具有空间依 赖强化的特征映射Fp以 及具有通道 依赖强化的特 征映射Fc， 并进行级联， 得到具有上 下文信息的特 征映射； 解码器， 用于对级联后形成的具有上下文信息的特征映射进行融合解码， 恢复到与原 始输入遥感图像大小一 致， 得到语义分割结果。 8.根据权利要求7所述的一种遥感图像语义分割装置， 其特征在于， 所述编码器骨架网 络采用VG G 19。 9.根据权利要求7所述的一种遥感图像语义分割装置， 其特征在于， 所述稀疏模块包括 并行的稀疏空间注意力模块和稀疏通道 注意力模块两个分支， 所述稀疏空间注意力模块用于，权　利　要　求　书 2/4 页 3 CN 115187775 A 3