(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210406103.2 (22)申请日 2022.04.18 (71)申请人 上海海洋大学 地址 200000 上海市浦东 新区沪城环路9 99 号 (72)发明人 韩彦岭　黄丽华　曹守启　陈亮　 张云　王静　马振玲　洪中华　 周汝雁　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 张晓博 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种轻量级水下目标检测方法、 系统、 介质、 设备及终端 (57)摘要 本发明属于水下目标检测技术领域， 公开了 一种轻量级水下目标检测方法、 系统、 介质、 设备 及终端。 采用CSPDarknet18作为骨干网络来初步 提取特征； 利用Dense策略提取不同层次和尺度 的图像特征； 在主干特征提取网和FPN结构之间 添加AFF模块， 实现跨通道信息交互； 构建FPN和 PANet网络， 同时提取具有语义信息和位置信息 的特征； 采用深度可分卷积替换普通卷积对加强 特征提取网进行重建， 以减少参数数量。 本发明 主要对海参、 扇贝、 海胆和海星的图像进行定位 和识别。 实验结果表明 ， 本发明的方法在 2020URPC水下目标检测数据集上的mAP达到 78.18％， 模型参数大小 为37.22M， 在獐子岛海 域 的现场采集视频数据上的处理速度分别为10.9 5 和28.05FPS， 在准确性和速度方面都取得较好的 效果。 权利要求书2页 说明书13页 附图4页 CN 114694017 A 2022.07.01 CN 114694017 A 1.一种轻量级水 下目标检测方法， 其特 征在于， 所述轻量级水 下目标检测方法包括： 采用CSPDarknet18作为骨干网络来初步提取特征； 利用Dense策略提取不同层次和尺 度的图像特征； 在 主干特征提取网和FPN结构之间添加AFF模块， 实现跨通道信息交互； 构建 FPN和PANet网络， 同时提取具有语义信息和位置信息的特征； 采用深度可分卷积替换普通 卷积对加强特 征提取网进行重建， 以减少参数 数量， 提高实时检测性能。 2.如权利要求1所述的轻量级水下目标检测方法， 其特征在于， 所述轻量级水下目标检 测方法包括以下步骤： 步骤一， 采用轻量级架构CS PDarknet18作为基础网络进行初始特 征提取； 步骤二， 在主干特征提取网的输出上引入Dense策略， 将主干特征提取网络的多层输出 结果堆叠连接后再输入到加强特 征提取网络； 步骤三， 提取 大、 中、 小三种不同尺度的特 征图检测不同大小的目标； 步骤四， 在主干特征提取网和FPN结构之间添加AFF模块， 实现跨通道信息交互， 利用 FPN和PANet结构对三个初始特 征图进行 特征融合； 步骤五， 利用基于深度可分离卷积的Bottleneck5对加强特征提取网络的卷积结构进 行重建， 以减少参数 数量， 提高实时检测性能； 步骤六， 将三个尺度的增强特 征图送入YOLO检测头进行 预测。 3.如权利要求2所述的轻量级水下目标检测方法， 其特征在于， 所述步骤二中， 在检测 网络结构设计中引入DenseNet 网络的密集连接， DenseNet中的每个层次彼此相连， 每个层 次均接收到全部层的特性； 将主干特征提取网的多层卷积结果堆叠连接后再输入到后续的 加强特征提取网络； 在改进的BDA ‑YOLOv4‑tiny检测模型中， 将密集连接策略加在主干特征提取网的输出 上； 主干网络的第10、 11和16层卷积的结果被堆叠连接后输入到下一层； 主干网络的第18、 19和24层卷积的结果被堆叠连接并输入到下一层； 主干网络的第26和27层卷积的结果堆叠 连接后输入到下一层。 4.如权利要求2所述的轻量级水下目标检测方法， 其特征在于， 所述步骤四中， AFF ‑ FPN‑PANet结构增加注意力特征融合模块AFF； 多尺度信道注意力模型MS ‑CAM利用两个具有 不同规模的分支进行信道注意力权重的提取； 利用全局平均池化操作对整体特征的注意力 进行分析， 利用逐点卷积 操作对局部的信道 注意力权 重进行分析， 并将两个分支进行合并； AFF模块针对 网络结构中不同尺度特征融合 时的注意力问题； 在目标检测网络结构中， X是低层特 征图， Y是加强特 征提取网中的高级语义特 征图； 基于 MS‑CAM， 将AF F表示为： 其中， Z∈RC ×H×W属于合并之后的输出特征， 表示信息集成； 选取每个元素的总和记 作初始的积分； 融合权重 是由0到1之间的实数组成， 也是由0到1之间的 实数组成， 使得网络在X和Y之间进行加权平均； 重新设计的AFF ‑PAN‑PANet模块， 通过空间注意机制生成每个特征图的空间权重图， 通 过权重图融合上 下文特征， 生成包 含多尺度上 下文信息的特 征图。 5.如权利要求2所述的轻量级水下目标检测方法， 其特征在于， 所述步骤五中， 利用深 度可分离卷积的思想， 设计以深度可分离卷积为计算方式的Bottleneck5结构， 所述权　利　要　求　书 1/2 页 2 CN 114694017 A 2Bottleneck5结构包括五层， 第二层和第四层为深度可分离卷积块， 第一、 三和五层为1 ×1 卷积。 6.如权利要求2所述的轻量级水下目标检测方法， 其特征在于， 所述步骤六中， 采用 CIOU作为损失函数， 所述损失函数定义 为： LCIOU＝1‑IoU+RCIOU； 其中， RCIOU为惩罚项， 惩罚公式通过使两个目标框的中心点 之间的标准化距离减到最小 确定； α 是权 重系数； v用于衡量预测框与目标框 长宽比的相似性。 7.一种应用如权利要求1～6任意一项所述的轻量级水下目标检测方法的轻量级水下 目标检测系统， 其特 征在于， 所述轻量级水 下目标检测系统包括： 初始特征提取模块， 用于采用轻量级架构CSPDarknet18作为基础网络进行初始特征提 取； 密集特征连接模块， 用于在主干特征提取网的输出上引入Dense策略， 将主干特征提取 网络的多层输出 结果堆叠连接后再输入到加强特 征提取网络； 特征融合模块， 用于在主干特征提取网和FPN结构之间添加AFF模块， 实现跨通道信息 交互， 并利用FPN和PANet结构对三个初始特 征图进行 特征融合； 深度可分离卷积模块， 用于利用基于深度可分离卷积的Bottleneck5对加强特征提取 网络的卷积结构进行重建， 以减少参数 数量， 提高实时检测性能； 目标检测模块， 用于提取大、 中、 小三种不同尺度的特征图检测不同大小的目标， 并将 三个尺度的增强特 征图送入YOLO检测头进行 预测。 8.一种计算机设备， 其特征在于， 所述计算机设备包括存储器和处理器， 所述存储器存 储有计算机程序， 所述计算机程序被所述处 理器执行时， 使得 所述处理器执行如下步骤： 采用CSPDarknet18作为骨干网络来初步提取特征； 利用Dense策略提取不同层次和尺 度的图像特征； 在 主干特征提取网和FPN结构之间添加AFF模块， 实现跨通道信息交互； 构建 FPN和PANet网络， 同时提取具有语义信息和位置信息的特征； 采用深度可分卷积替换普通 卷积对加强特 征提取网进行重建， 以减少参数 数量， 提高实时检测性能。 9.一种计算机可读存储介质， 存储有计算机程序， 所述计算机程序被处理器执行时， 使 得所述处理器执行如下步骤： 采用CSPDarknet18作为骨干网络来初步提取特征； 利用Dense策略提取不同层次和尺 度的图像特征； 在 主干特征提取网和FPN结构之间添加AFF模块， 实现跨通道信息交互； 构建 FPN和PANet网络， 同时提取具有语义信息和位置信息的特征； 采用深度可分卷积替换普通 卷积对加强特 征提取网进行重建， 以减少参数 数量， 提高实时检测性能。 10.一种信息数据处理终端， 其特征在于， 所述信息数据处理终端用于实现如权利要求 7所述的轻量级水 下目标检测系统。权　利　要　求　书 2/2 页 3 CN 114694017 A 3