(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210488938.7 (22)申请日 2022.05.07 (71)申请人 西南科技大 学 地址 612010 四川省绵阳市涪城区青龙 大 道中段59号 (72)发明人 张红英　张奇　罗向东　 (51)Int.Cl. G06V 20/17(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种面向无人机航拍图像的小目标检测方 法 (57)摘要 本发明给出一种面向无人机航拍图像的小 目标检测方法。 首先， 针对目标尺寸较小的问题， 改变了检测头尺寸， 以获得更多小目标的原始信 息； 其次， 为了在复杂场景中准确检测到密集连 续的小目标， 在特征提取阶段采用融合了CB AM注 意力机制的残差卷积模块， 为训练图片中密集连 接的感兴趣区域增加权重； 然后， 为了缓解背景 杂乱， 像素模糊带来的问题， 引入跳跃多尺度特 征增强模块， 在自顶向下的特征融合中增加两条 相同尺度残差路径， 三条跨尺度残差路径， 将浅 层特征信息和深层特征信息充分融合， 让不同尺 度的检测头得到足够的图像语义信息和空间信 息。 本发明利用多方向跳跃残差连接路径融合图 像多尺度特征， 实现了优异的小目标检测性能， 具有广泛的适用性。 权利要求书2页 说明书5页 附图3页 CN 114863301 A 2022.08.05 CN 114863301 A 1.一种面向无人机航拍图像的小目标检测方法， 其特征在于， 引入融合注意力机制的 残差结构进行特征提取和多向多尺度 残差跳跃路径进 行特征融合， 并通过不同尺度的无锚 预测方式进行多个检测头预测， 该方法包括数据集预处理、 对无人机小目标数据集进行特 征提取、 对于来自不同阶段的特征进行特征融合、 对融合后的特征图进行不同尺度的分类 和回归预测、 网络训练与测试五个部分； 第一部分包括两个步骤： 步骤1， 下载无人机小目标公开数据集VisDrone， 选取自然场景复杂、 角 度多样和光照 变化剧烈的图像作为测试集， 将测试集图片尺寸统一到640 ×640大小， 对测试集不进行任 何的图像增强； 步骤2， 对训练数据集的图片大小进行重置， 将图片调整至640 ×640像素， 在训练总轮 次的前90%对数据集进行马赛克数据增强， 将训练集中每一张图片进行四次分割、 翻转， 然 后将翻转后的图片分别放置在 对应分割位置上最后对图片进 行色域变换等操作， 增强训练 样本集， 得到最终的训练样本； 第二部分包括两个步骤： 步骤3， 通过Focus结构将训练图片宽高信息集中到通道上， 并将通道数从原来的3通道 扩大到64通道， 接着进行一个1 ×1的卷积拓张通道数扩充信息， 使用SILU激活函数增加网 络模型的非线性因素； 步骤4， 然后利用如图1中的四个残差模块Resblock1、 Resblock2、 Resblock3、 Resblock4对图像信息特征进行提取， 分别输出中间层的4个特征图feat0、 feat1、 feat2、 feat3， 通道数分别为128、 25 6、 512、 1024； 第三部分包括四个步骤： 步骤5， 将步骤4中得到的特征图feat0、 feat1、 feat2和feat3分别经过多尺度跳跃残差 处理， 在自底向上路径中共进行3次concatenate操作， 同时增加另一条自底向上的路径， 将 最底层特征图feat3和最浅层特征图feat0进行跨多尺度跳跃连接得到融合特征图P0、 P1、 P2 步骤6， 将步骤5得到的P0、 P1、 P2经过自顶向下路径再次进行深层的特征融合， 得到不 同尺度相互融合的特 征图P3和P4； 步骤7， 在步骤5和步骤6的基础上， 在进行自顶而下的特征融合时额外增加两条相同尺 度残差路径， 将步骤6得到的P3和P4与特征提取得到的feat1和feat2进行跳跃融合得到特 征图P5和P6； 步骤8， 再增加两条自底向上路径， 将步骤4中的feat3与步骤7中的P6再次融合得到特 征图P7， 同时将步骤3中的P0与步骤7中的P5再次融合得到P 8， 具体实施如下: 将feat3经过一个2倍的邻近插值上采样得到40 ×40的特征图， 然后进行一个1 ×1的卷 积、 归一化和SILU激活函数得到大小不变、 通道数为512的特征图， 紧接着与步骤 7中的P6再 次融合， 同样的， 将步骤5中的P 0经过一个特征提取模块之后的特征图进 行两倍的邻近插值 上采样然后进行1 ×1的卷积调整通道数为258， 与步骤7中的P5用co ncatenate进行融合； 第四部分包括两个步骤： 步骤9， 增加一个Head0检测头， 丢弃原始YOLOX网络中的Head3检测头， 将步骤5得到的 特征图P2通过一个融合了CBAM注意力机制的特征提取强化模块， 然后输入到Head0中完成权　利　要　求　书 1/2 页 2 CN 114863301 A 2小目标检测的目标 预测， 具体实施如下： 步骤9‑1， 将feat0特征利用起来， 引入到特征融合结构新增的特征融合模块中， 由 feat0产生一个160 ×160×128的检测头H ead0， 并且将feat 3产生的20 ×20×1024的检测头 Head3丢弃； 步骤9‑2， 特征提取强化模块如图3所示， 输入 的特征分别进行2个1 ×1卷积， 分为两个 支路， 其中一个支路再进行 n次残差结构Bottleneck的堆叠， 而Bottleneck的一条支路经过 一个1×1卷积和一个3 ×3卷积进行特征提取， 此时在两个1 ×1卷积和3 ×3卷积之间加入 CBAM注意力机制， Bottleneck的另一条支路不做任何操作， 将Bottleneck的两条支路用add 进行融合， 随着Bottleneck的 n次堆叠CBAM也重复 n次； 另外一个支路是残差边支路， 仅进行 一个1×1的卷积操作， 最后将两条支路用co ncatenate 连接起来输出； 步骤10， 将步骤8得到的特征图P7和P8分别经过一个不同输入的特征提取模块， 将提取 后的特征信息分别输入到80 ×80×256大小的检测头Head1和40 ×40×512大小的检测头 Head2中完成小目标检测的目标 预测； 步骤11， 将步骤9和步骤10中的检测头Head0、 Head1和Head2通过两个支路的卷积来分 别完成小目标检测的分类和回归 任务； 第五个部分包括两个步骤： 步骤12， 调试从步骤3到步骤10 的网络结构超参数， 设置网络模型参数， 其中， epoch设 置为130， 采用迁移训练， 在前50个epoch中冻结主干网络， 学习率设置为0.001， 加载预训练 模型， bach  size设置为4； 后80个epoch解冻 主干网络， 学习率设置为0.0001， bach  size设 置为2， 每1个epoc h后将学习率降为原来的0.9 2， 训练后得到最终的训练模型； 步骤13， 将步骤1中测试集输入步骤11中的训练模型中， 得到无人机小目标检测的测试 结果。 2.根据权利要求1所述的一种面向无人机航拍图像的小目标检测方法， 其特征在于， 步 骤5和步骤7增加多条反向递归路径的特征融合， 为浅层特征层增加深层特征信息的细粒 度。 3.根据权利要求1所述的一种面向无人机航拍图像的小目标检测方法， 其特征在于， 步 骤8增加两条自底向上路径， 将第一次融合后的特征经通道数转换进一步进行特征融合， 丰 富了上下文语义信息的多样性。 4.根据权利要求1所述的一种面向无人机航拍图像的小目标检测方法， 其特征在于， 步 骤9使用CBAM注意力机制将关注度放在利于样本分类的特 征上， 减少了特 征冗余。 5.根据权利要求1所述的一种面向无人机航拍图像的小目标检测方法， 其特征在于， 步 骤9中采用增加一个Head0检测头， 丢弃原始Y OLOX网络中的Head3检测头的方式来改进检测 头尺寸。权　利　要　求　书 2/2 页 3 CN 114863301 A 3