(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210294967.X (22)申请日 2022.03.24 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 周全　施惠民　孙振涵　王林杰　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 张玉红 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06V 10/40(2022.01)G06N 3/04(2006.01) G06V 10/94(2022.01) (54)发明名称 一种用于图像目标检测的轻量级双分支卷 积神经网络及其检测方法 (57)摘要 一种用于图像目标检测的轻量级双分支卷 积神经网络及其检测方法， 通过构建双路径的网 络以解决轻量化图像目标检测任务， 由双路径骨 干网、 特征金字塔和轻量化检测头组成。 骨干网 核心模块为增强的混洗模块ESB， 采用高效自注 意力模块ESAM来捕捉特征全局依赖， 同时保持非 常少的模型参数和计算复杂 度。 骨干网采取双分 支网络， 一路分支保持高分辨率， 另一路分支采 用连续下采样获得抽象语义信息。 在特征金字塔 中将ESAM扩展为ECAM来捕捉不同分辨率之间特 征的关系。 检测头采用轻量化的深度可分离卷积 来进行边框和类别的预测。 实验结果表明， 本网 络架构以及检测方法实现了检测精度和实施效 率之间的最佳平 衡， 成为解决轻量化图像目标检 测任务的一种有效方法。 权利要求书4页 说明书7页 附图5页 CN 114648684 A 2022.06.21 CN 114648684 A 1.一种用于 图像目标检测的轻量级双分支卷积神经网络， 其特征在于： 所述轻量级双 分支卷积神经网络包括依次连接的骨干网、 特 征金字塔网络和检测头， 其中： 骨干网， 使用双 分支架构， 一路分支保持高分辨率的特征， 另一路分支使用连续下采样 操作获得低分辨 率的特征， 并使用双向融合模块Bi ‑FM融合跨分辨率特征； 特征金字塔网络， 使用高效交叉注意力模块E CAM计算不同分辨 率特征的关系； 检测头， 使用包含轻量化深度卷积和点卷积的ConvBlock模块进行类别和边框预测， 输 出最终图像目标检测结果。 2.根据权利要求1所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述骨干网包含 卷积层、 最大池化层、 增强的混洗模块ESB、 带步长的增强的混洗模 块ESB,s以及 双向融合模块Bi ‑FM。 3.根据权利要求2所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述增强的混洗模块ESB构成将输入 特征分离为两个相同通道的低维映射， 一路分 支依次经过1 ×1， 一个5×5步长为1深度可分离卷积和1 ×1提取局部卷积特征， 然后使用高 效自注意力模块ESAM捕捉长距离依赖； 另一路分支保持不变； 两个 分支的输出被拼接， 并使 用混洗单 元进行信息交 互。 4.根据权利要求2所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述带步长的增强的混洗模块ESB,s将 输入特征分离为两个相同通道的低维映射， 一路分支依次经过1 ×1， 5×5步长为2深度可分离卷积， 通道保持不变， 然后经过1 ×1卷积 将通道个数提升1倍， 再使用高效自注 意力模块ESAM提取全局特征； 另一路分支经过5 ×5步 长为2深度可分离卷积进行下采样， 然后经过1 ×1卷积将通道个数提升1倍； 两个分支的输 出被拼接， 并使用混洗单 元进行信息交 互。 5.根据权利要求2所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述双向特征融合模块Bi ‑FM， 对高分辨特征使用5 ×5步长为2深度可分离卷积， 然 后使用1×1卷积将其通道个数提升至与低分辨率相同， 然后 将其分辨率缩放到与低分辨率 特征相同再与其相加； 同时对低分辨率特征使用点卷积使其通道与高分辨率特征相同， 然 后双线性插值使其分辨 率与高分辨 率特征相同， 再与之相加。 6.根据权利要求1所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述特征金字塔网络中设有高效交叉注意力模块ECAM， 其包括 自顶向下融合时的 高效交叉注 意力模块ECAM ‑TD和自底向上融合时的高效交叉注意力模块ECAM ‑BU， 并设有 轻 量化瓶颈块来改善输出。 7.根据权利要求6所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述自顶向下融合时的高效交叉注意力模块ECAM ‑TD， 给定一个高分辨率输入 和低分辨率输入 首先将Fl上采样至 然后将Fh,Fl重 新排列成2D序列 Xl和Xh被用来计算空间注意力图 和通道注 意力图 在空间注意力中,输入Xl首先通过 生成一个低维映射 r是非 负的整数， 被设置为8； 之后 依次经过一个全局平均池化Pg(·)， 生成空间查询特征 同时Xh被送进线性映射 来来生成空间键值特 征 权　利　要　求　书 1/4 页 2 CN 114648684 A 2在此之后， 对空间查询特征的转置 和空间键值特征 使用矩阵乘法来计算关系矩 阵， 经过sigmoid函数σ(·)生成空间注意力图 在通道注意力中， 给定一个线性映射 和 通道查询特征 与通道键值特征征 生成方式与公式(1)中的 和 生成方式 类似： 在此之后通道 关系图 通过通道查询特征的转置 和通道键值特征 之间 矩阵相乘得到， 然后其依次经 过线性映射 和sigmoid函数来 生成通道 注意力图： 最后 和 被用来加权 输入Xh， 同时Xh与输出路径存在跳 接， 促进训练： 其中， 代表逐元素加， ⊙代表逐元素乘， 输出序列 通过重新排列， 维度变成 之后经过一个轻量 化瓶颈块来改善输出。 8.根据权利要求6所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述自底向上融合时的高效交叉注意力模块ECAM ‑BU， 首先高分辨率输入 被下采样， 使得其分辨率与 相同， 然后Fh,Fl重新排列成2D序列 计算空间注意力图 和通道注意力图 和ECAM‑TD类似； 最后 和 被用来加权输入Xl， 同时Xl还与输出路径存在跳接， 促进训练； 输 出序列 通过重新 排列， 维度变成 之后经过一个轻量 化瓶颈块来改善输出。 9.根据权利要求6所述的一种用于图像目标检测的轻量级双分支卷积神经网络， 其特 征在于： 所述瓶颈块中， 输入经过一个1 ×1卷积使通道数下降为1/4， 然后经过两个深度可 分离3×3步长为1的卷积， 再经过一个1 ×1卷积， 恢复通道等于输入通道个数， 输入输出之 间存在一个跳 接来促进训练。 10.一种使用如权利要求1 ‑9所述的轻量级双 分支卷积神经网络的图像目标检测方法， 其特征在于： 所述方法包括如下步骤： S1、 对输入的原始图像进行3 ×3步长为2的卷积以及步长为2的最大值池化获得分辨率 为原始图像1/4， 通道数为32的第一特 征图； S2、 依次使用一个ESB,s和三个ESB单元对第一特征图进行特征提取， 获得分辨率为原 始图像1/8， 通道数为128的第二特 征图； S3、 依次使用一个ESB,s和七个ESB单元对第二特征图进行特征提取， 获得分辨率为原权　利　要　求　书 2/4 页 3 CN 114648684 A 3