(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476223.X (22)申请日 2022.04.29 (71)申请人 南京信息 工程大学 地址 210032 江苏省南京市江北新区宁六 路219号 (72)发明人 翁理国　储圣光　夏旻　胡凯　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陆志斌 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种轻量级多特征聚合的神经网络遥感变 化检测方法 (57)摘要 本发明公开了一种轻量级多特征聚合的神 经网络遥感变化检测方法， 包括搭建并训练一个 分割网络， 输入双时像遥感图像， 输出预测变化 区域的预测模型， 其特征在于， 所述预测模型包 括至少三个基础语义分割子模块： 特征提取模 块、 细节特征引导模块、 自注意力以及特征融合 模块。 该种轻量级多特征聚合的神经网络遥感变 化检测方法， 通过轻量级多特征融合网络在采用 前述训练方法进行训练后即可用于遥感图像变 化检测， 对待处理图像先采用裁剪的方式输入至 神经网络模型中， 设置参数并进行多次迭代， 得 到变化检测遥感图像的预测结果， 该预测的结果 相对于采用传统的基础语义分割模型（例如 UNet、 FCN等） 得到的结果， 其预测准确率有明显 的提升。 权利要求书2页 说明书8页 附图4页 CN 114937204 A 2022.08.23 CN 114937204 A 1.一种轻量级多特征聚合的神经网络遥感变化检测方法， 包括搭建并训练一个分割网 络， 输入双时像遥感图像， 输出预测 变化区域的预测模型， 其特征在于， 所述预测模型包括 至少三个基础语义分割子模块： 特征提取模块、 细节特征引导模块、 自注意力以及特征融合 模块， 所述预测模型的训练过程包括如下步骤： S1、 将预先标注语义分割信息的训练图像输入到所述预测模型中， 在编码过程中， 利用 轻量级征提取模块对多尺度特 征信息进行提取处 理； S2、 通过细节特 征引导模块， 引导网络学习底层的特 征信息； S3、 将经过多尺度特征信息进一步输入至自注意模块中， 提取出变化区域的关键信息， 通过调节像素点与像素点以及通道与通道之间的权重来减少冗余信息的占比， 使网络更加 关注于变化区域的特 征信息； S4、 在解码过程中， 将提取的多尺度特 征信息输入特征融合模块进行输出产生预测； S5、 利用若干训练图像不断迭代执行上述步骤S1至S4， 直至所述模型的训练结果满足 预设的收敛 条件。 2.根据权利要求1所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述分割网络的训练包括数据集的制作及训练调参过程， 其整体流程主要由数据 集制作， 网络模型 搭建和利用数据集进行网络训练三部分组成。 3.根据权利要求2所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述数据集制作过程包括如下步骤： S01、 从谷歌地球软件上截取同一地区不同时间点的一对高分辨率遥感图像， 图像主要 分布在以下四种背景中， 分别是建筑物， 植被， 河流以及荒地； S02、 对截取的图像进行准确地人工掩膜标注， 标注类别总共分为两类： 变化区域以及 未变化区域； S03、 对标注完 的高分辨率图像进行裁剪与筛选， 最终获得N对512 ×512像素的双时像 遥感图像对； S04、 对数据集进行随机切分， 其中80％作为训练样本， 20％作为验证样本 。 4.根据权利要求2所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述网络模型搭建是基于编码器解码器结构， 并利用密集联接网络作为新的主干 网络来对遥感图像的特 征信息进行提取。 5.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述密集联接网络的结构共有四个部分组成， 其第一部分对输入图像的空间分辨 率通过三个卷积分别进 行步长为2的下采样处理； 在第二和 第三部分， 每个部分对图像空间 分辨率进行步长为2的下采样处理； 第四部分通过全局平均池化进行输出， 具体为： 定义 ConvXi表示第i部分的操作， 即第i部分的输出计算如下： xi＝ConvXi(xi‑1,ki) 在上式中xi‑1和xi分别是第i部分的输入和输出， ki为卷积层的内核大小， 其中第一部分 的卷积层内核大小为设为1， 其 他部分的卷积层内核大小都设置为3 。 6.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述网络模型搭建还包括建立细节特征引导模块， 引导底层以单流方式学习细节 特征信息， 并将细节特 征预测当作一个 类不平衡问题来进行处 理， 具体如下：权　利　要　求　书 1/2 页 2 CN 114937204 A 2定义一个新的损失函数Ld来处理这类不平衡的问题， 若预测细节图的高位H， 宽为W， 则 Ld表示如下： Ld(xpd,xdg)＝Lbce(xpd,xdg)+Ldice(xpd,xdg) 其中xpd∈RH×W表示预测细节， xdg∈RH×W表示相应的特 征图， Lbce表示二元交叉熵损失。 7.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述网络模型搭建还包括建立用于遥感图像变化检测的时空自注意模块， 该模块 用于捕获整个时空中各个像素之间丰富的全局时空关系， 使网络对重要区域的像素赋予更 大的权重， 并对需要注意的目标区域给予更多的注意。 8.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述网络模型搭建还包括建立融合网络， 具体为： 定义w和h 分别表示特征图的宽度 和高度， 首先对不同深度的堆叠特征层进行卷积操作， 将不同通道实现信息交互叠加得到 特征图U′， 其方程为下所示： U′＝ReLU(B(f3×3(U))) 上式中B为批量标准化运算， ReLU是激活函数修正线性单元， 其功能在于使得每一层网 络的输入都能保持相同的数据分布， 并将其规范至均值与方差分别为0和1的正态分布中； 然后利用向量来指导特征学习， 增加 一种注意机制， 对特征映射中的数据U ′进行重组得到 t， 激活函数Sigmo id和t的计算公式如下： t＝Sigmo id(f1×1(ReLU(f1×1(Fgp(U'))))) 上式中 Cn表示类别数， Fgp表示全局平均池化， f1×1表示卷积核为1的卷积操 作， Sigmoid是线性激活函数， ReLU是激活函数修正线性单元， 将Cn设置为2； 最后将t与U ′中 对应通道数相乘实现对参数赋予权重的功能， 并将获得的特征层与U ′相加得到最 终输出V： V＝tU′+U′。 9.根据权利要求2所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 所述利用数据集进行网络训练的过程如下： 在获得数据集之后， 将一部分数据集做数据增强， 分别以0.2的概率对原图像及标签做 水平翻转， 镜像翻转以及 ‑180°～+180°的旋转变换； 在迭代过程中采用学习率衰减策略来优化学习过程， 此处使用的学习率衰减策略每3 次迭代对当前学习率乘以值0.95， 当迭代200次后学习率衰减为3.27 ×1e‑5， 满足收敛要 求； 网络在初始收敛过程中， 设置学习率预热阶段， 即在最先的几次迭代中采用较小的学 习率， 然后逐步增大到标准水平。 10.根据权利要求9所述的一种轻量级多特征聚合的神经网络遥感变化检测方法， 其特 征在于， 在利用数据集进行网络训练前， 对网络权重做随机初始化， 调整初始学习率为 0.001， 并采用利用训练数据集对变换检测网络进 行训练时， 每次输入一对原始遥感图片 到 当前网络中， 并通过正向传播计算得到 当前网络的预测图像， 利用交叉熵损失函数， 计算输 出图片与其对应的人工标注的掩模图片之 间的损失函数， 利用链式法则将这个损失函数反 向传播到网络中。权　利　要　求　书 2/2 页 3 CN 114937204 A 3