(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210455974.3 (22)申请日 2022.04.28 (71)申请人 中国电子科技 集团公司第五十四研 究所 地址 050081 河北省石家庄市中山西路589 号第五十四所航 天信息应用技术重点 实验室 (72)发明人 张萌月　王港　陈金勇　王敏　 武晓博　 (74)专利代理 机构 河北东尚律师事务所 13124 专利代理师 王文庆 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 一种宽幅遥感影像中密集弱小目标检测识 别方法 (57)摘要 本发明提供了一种宽幅遥感影像中密集弱 小目标检测识别方法。 该方法利用Mo saic、 旋转、 MixUp、 缩放等手段进行样本扩增， 获得丰富的、 多尺度的训练样本； 然后利用Transformer改进 YOLOv5网络， 并增加弱小目标检测头， 增 强模型 对图像中全局信息和上下文信息的表征能力， 提 高密集场景下弱小目标检测识别性能； 同时， 使 用多模型融合预测方法， 提高预测精度， 避免模 型陷入局部最优； 最后， 使用分块检测的方法进 行宽幅遥感影像中密集弱小目标检测识别。 本发 明使用了多模 型融合预测， 可以提高模型目标检 测识别能力， 避免模型陷入局部最优。 权利要求书2页 说明书7页 附图2页 CN 114821326 A 2022.07.29 CN 114821326 A 1.一种宽幅遥感影 像中密集弱小目标检测识别方法， 其特 征在于， 包括如下步骤： (1)数据准备： 对遥感影像数据集中的图像数据进行数据增广， 获取数量更多、 尺度更 多的样本数据； (2)特征提取： 从训练样本集中抽取训练样本， 加入Transformer编码器， 改进YOLOv5网 络， 用于提取训练样本的多尺度特 征； (3)多尺度预测： 增加弱小目标检测头， 用于弱小目标检测识别， 并结合原有的检测头 实现多尺度目标 预测， 然后使用NMS非极大值抑制对多个 检测头的预测结果进行融合； (4)多模型融合预测： 基于训练集训练n个模型， 并将n个模型的预测结果使用WBF加权 边界框进 行融合， 得到最终的预测结果， 并用预测结果对各个模型调参； 返回步骤(2)， 直至 各个模型损失函数一 致收敛， 完成模型训练， 构成集成模型； (5)弱小目标检测识别： 使用集成模型对宽幅遥感影像中的密集弱小目标进行检测识 别。 2.根据权利要求1所述的一种宽幅遥感影像中密集弱小目标检测识别方法， 其特征在 于， 所述步骤(1)中对训练集和 测试集中的图像数据进行 数据增广， 包括以下 方式： (101)Mosaic马赛克处理： 从训练集Dtrain中随机选取4张图片， 对4张图片进行随机缩 放、 裁剪、 色域变换， 然后 将4张图片随机排布组合 成新的样 本， 并重新记录新样本中目标标 注框坐标； (102)旋转处理： 以训练样本图像中心作 为旋转中心点， 设置旋转角度为45 °， 顺时针旋 转7次， 生成7个新样本； 每次旋转后都计算目标 标注框位置， 并重新写入标注文件； (103)MixUp混合处理： 从训练样本中随机选取2张训练样本， 记作x1和x2， 其对应标签分 别为y1和y2， 计算混合后的样本xmix及其标签ymix： λ＝Beta( α, β ) xmix＝ λ*x1+(1‑λ )*x2 ymix＝ λ*y1+(1‑λ )*y2 其中， 参数α 和β 为按需设置的参数， Beta()为贝塔函数， λ为混合权 重； (104)缩放处理： 将数据样本分别缩放到原始样本的1.5倍、 0.75倍、 0.5倍， 获得不同尺 度的训练样本 。 3.根据权利要求2所述的一种宽幅遥感影像中密集弱小目标检测识别方法， 其特征在 于， 所述步骤(2)中对YOLOv5的改进为： 将原始YOLOv5网络颈部中 的CSP模块替换为Transformer编码器， 用于提取全局和上下 文特征， 加强密集场景下弱小目标检测能力； 其中， Tr ansformer编码器由注意力模块和全 连接模块组成， 注意力模块包含LayerNorm、 注意力层、 Dropout层， 全连接模块包含 LayerNorm、 全连接层、 Dropout层； 注意力模块和全连接模块之间使用残差连接 。 4.根据权利要求3所述的一种宽幅遥感影像中密集弱小目标检测识别方法， 其特征在 于， 所述步骤(3)的具体方式为： 在原始YOLOv5骨干网络的CSP_1层后， 依次连接Concat、 Transformer编码器、 CONV层， 用于提取图像的浅层特 征， 并增加一个检测头l， 用于加强弱小目标的检测能力； 检测头l使用浅层的高分辨率特征图计算小目标的预测结果， 然后将这个预测结果和 其他检测头的预测结果使用NMS非极大值抑制进行融合， 得到一个预测结果。权　利　要　求　书 1/2 页 2 CN 114821326 A 25.根据权利要求4所述的一种宽幅遥感影像中密集弱小目标检测识别方法， 其特征在 于， 所述步骤(4)的具体方式为： (401) 基于步骤 (1) ～ (3) 的方法随 机 训练n个模型 ， 得到n个预 测结果 其中， 为检测头i预测的 边界框的左上角坐标， 为检测头i预测的边界框的右下角坐标， si为预测框i的置信 度， i＝1,2,3,l； (402)使用WBF加权边界框对n个预测结果融合， 得到最终的预测结果： 其中， 为融合结果的左上角坐标， 为融合结果的右下角坐标， sP为融合 结果的置信度； (403)使用融合后的预测结果对模型参数进行反馈调节， 直至各个模型损失函数一致 收敛， 完成模型训练， 形成集成模型。 6.根据权利要求1所述的一种宽幅遥感影像中密集弱小目标检测识别方法， 其特征在 于， 步骤(5)的具体方式为： (501)影像分块： 影像尺寸为w ×h， 其中w、 h分别为影像的宽度和长度； 设定裁剪窗口宽 度为w， 长度为d， 使裁剪窗口以(d ‑lobj)的步长沿影像长度方向滑动， 将影像裁剪成影像块， 其中lobj是影像中最大的目标尺寸； (502)将影像块分别送入集成模型进行密集弱小目标 预测； (503)将预测后的影像块拼接， 并对重叠区域的预测框使用NMS非极大值抑制进行融 合。权　利　要　求　书 2/2 页 3 CN 114821326 A 3