(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210428276.4 (22)申请日 2022.04.22 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 李传奇　任英杰　纪超　王倩雯　 王薇　葛召华　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫伟姣 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) (54)发明名称 一种融合注意力机制的漂浮物目标检测方 法及系统 (57)摘要 本发明属于机器视觉技术领域， 提供了一种 融合注意力机制的漂浮物目标检测方法及系统， 本发明在YOLOv 4‑tiny模型中， 以CSPDarknet53 ‑ tiny作为特征提取网络， 在特征金字塔结构中嵌 入卷积注 意力模块， 提高了网络对通道域和空间 域的关注， 增强了待检目标特征， 抑制了背景特 征， 实现了漂浮物目标检测模型实时性和检测精 度的要求； 同时， 在K均值聚类算法中， 采用聚类 中心的边界框与周围目标边界框面积的交并比 作为准则函数， 基于改进的K均值聚类算法聚类 分析漂浮物尺 寸信息， 重新生 成更为精准的先验 框对目标进行定位， 提升 了检测精度。 权利要求书1页 说明书7页 附图2页 CN 114781514 A 2022.07.22 CN 114781514 A 1.融合注意力机制的漂浮物目标检测方法， 其特 征在于， 包括： 获取水流环境的图像信息； 依据所述图像信息， 以及预设的漂浮物目标检测模型， 得到漂浮物检测结果； 其中， 所述漂浮物目标检测模型由YOLOv4 ‑tiny模型训练得到， 所述YOLOv4 ‑tiny模型 中， 以CSPDarknet53 ‑tiny作为特征提取网络， 在特征金字塔结构中嵌入卷积注意力模块； 同时， 使用K均值聚类算法聚类 分析漂浮物尺 寸信息， 所述K均值聚类算法中， 以面积交并比 作为准则函数。 2.如权利要求1所述的融合注意力 机制的漂浮物目标检测方法， 其特征在于， 训练所述 漂浮物目标检测模型时， 获取训练用样本图像信息后， 对样本图像信息进 行标注， 通过空间 变换和色域变换对标注后的样本图像进行 数据增广。 3.如权利要求1所述的融合注意力机制的漂浮物目标检测方法， 其特征在于， 所述 YOLOv4‑tiny模型包括骨架网络、 颈 部结构和预测端。 4.如权利要求1所述的融合注意力 机制的漂浮物目标检测方法， 其特征在于， 所述卷积 注意力模块包括通道注意力模块和空间注意力模块， 所述卷积注意力模块沿着通道和空间 两个独立的维度依次推断注意力图， 将注意力图和输入特征图相乘实现自适应地特征优 化。 5.如权利要求4所述的融合注意力 机制的漂浮物目标检测方法， 其特征在于， 所述通道 注意力模块通过探索输入特征的通道关系突出关键通道， 抑制其余通道； 对于输入特征， 所 述通道注意力模块分别进 行全局最大池化和全局平均池化， 池化结果输入共享权值的多层 感知机进行处 理， 处理结果相加后取归一 化获得每 个通道的通道 注意力权 重。 6.如权利要求4所述的融合注意力 机制的漂浮物目标检测方法， 其特征在于， 所述空间 注意力模块利用特征 的空间关系生成空间注意图， 突出包含重要信息的像素点； 对于经过 所述通道注意力处理过的输入特征， 在每个特征点的通道上取最大值和平均值后进行堆 叠， 然后利用卷积 操作调整通道数， 最后取归一 化获得每 个特征点的空间注意力权 重。 7.如权利要求4所述的融合注意力机制的漂浮物目标检测方法， 其特征在于， K均值聚 类算法中， 采用聚类中心的边界框与周围目标边界框面积的交并比作为 准则函数。 8.融合注意力机制的漂浮物目标检测系统， 其特 征在于， 包括： 数据采集模块， 被 配置为： 获取 水流环境的图像信息； 检测模块， 被配置为： 依据所述图像信息， 以及预设的漂浮物目标检测模型， 得到漂浮 物检测结果； 其中， 所述漂浮物目标检测模型由YOLOv4 ‑tiny模型训练得到， 所述YOLOv4 ‑tiny模型 中， 以CSPDarknet53 ‑tiny作为特征提取网络， 在特征金字塔结构中嵌入卷积注意力模块； 同时， 使用K均值聚类算法聚类 分析漂浮物尺 寸信息， 所述K均值聚类算法中， 以面积交并比 作为准则函数。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现了如权利要求1 ‑7任一项所述的融合注意力机制的漂浮物目标检测方法的步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现了如权利要求 1‑7任一项所述的融合 注意力机制的漂浮物目标检测方法的步骤。权　利　要　求　书 1/1 页 2 CN 114781514 A 2一种融合注意力机制的漂浮 物目标检测方法及系统 技术领域 [0001]本发明属于机器视觉技术领域， 尤其涉及 一种融合注意力机制的漂浮物目标检测 方法及系统。 背景技术 [0002]水利工程普遍存在漂浮物问题， 漂浮物的聚集妨碍水利工程的正常运营； 漂浮物 的腐烂造成覆盖水体氮磷水平和污染物浓度明显提高， 严重影响水质。 目前普遍应用的清 漂手段依旧是依赖于人工识别， 这种识别方式不仅耗费大量的人力物力， 而且存在识别范 围小、 识别滞后等诸多局限。 因此， 能够快速准确的识别出水利工程中的漂浮物， 及时提供 漂浮物的位置信息成为了提高治漂能力的必要条件。 [0003]发明人发现， 随着深度学习在目标检测领域 的深入应用， 以YOLO、 SSD为代表的单 阶段目标检测算法在实时 目标检测任务中应用广泛， 但由于单阶段目标检测算法将目标检 测问题转化为回归问题， 略去候选区域生成， 不能够很好的将目标区域和背景区域分开， 容 易造成漏检和 误检问题； 复杂度更高的网络结构在各种应用中可以带来明显的精度提升， 但同时也带来了极大的参数和计算 开销， 不能适用于水流较快环境中漂浮物的检测。 发明内容 [0004]本发明为了解决上述问题， 实现复杂背景下水面漂浮物的高精度实时检测， 提出 了一种融合注意力机制的漂浮物目标检测方法及系统， 本发明中提出了一种融合注意力机 制的漂浮物目标检测算法CBAM ‑YOLOv4‑tiny， 能够在满足实时性的基础上， 提供更高的检 测精度， 可为实现水利工程中快速清漂排漂， 提高治漂能力提供参 考。 [0005]为了实现上述目的， 本发明是通过如下的技 术方案来实现： [0006]第一方面， 本发明提供了一种融合注意力机制的漂浮物目标检测方法， 包括： [0007]获取水流环境的图像信息； [0008]依据所述图像信息， 以及预设的漂浮物目标检测模型， 得到漂浮物检测结果； [0009]其中， 所述漂浮物目标检测模型由YOLOv4 ‑tiny模型训练得到， 所述YOLOv4 ‑tiny 模型中， 以CSPDar knet53‑tiny作为特征提取网络， 在特征金字塔结构中嵌入卷积注意力模 块； 同时， 使用K均值聚类算法聚类分析漂浮物尺寸信息， 所述K均值聚类算法中， 以面积交 并比作为 准则函数。 [0010]进一步的， 训练所述漂浮物目标检测模型时， 获取训练用样本图像信息后， 对样本 图像信息进行 标注， 通过空间变换和色域变换对标注后的样本图像进行 数据增广。 [0011]进一步的， 所述YOLOv4 ‑tiny模型包括骨架网络、 颈 部结构和预测端。 [0012]进一步的， 所述卷积注意力模块包括通道注意力模块和空间注意力模块， 所述卷 积注意力模块沿着通道和空间两个独立的维度依次推断注意力图， 将注意力图和输入特征 图相乘实现自适应地特 征优化。 [0013]进一步的， 所述通道注意力模块通过探索输入特征的通道关系突出关键通道， 抑说　明　书 1/7 页 3 CN 114781514 A 3