(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210436108.X (22)申请日 2022.04.25 (65)同一申请的已公布的文献号 申请公布号 CN 114550166 A (43)申请公布日 2022.05.27 (73)专利权人 科大天工智能装备技 术 （天津） 有 限公司 地址 300000 天津市东 丽区华明 高新技术 产业区华丰路6号G座1号楼 专利权人 北京科技大 学 (72)发明人 张超　钱浩　 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112560896 A,2021.0 3.26 CN 110633610 A,2019.12.31 CN 113812262 A,2021.12.21 US 2003012398 A1,20 03.01.16 审查员 刘坛首 (54)发明名称 一种面向智慧大棚的果 实检测方法、 装置及 存储介质 (57)摘要 本申请涉及一种面向智慧大棚的果实检测 方法、 装置及存储介质， 方法包括在YOLOv5的特 征融合网络中嵌入两个CB AM注意力模块， 分别用 于对YOLOv5的骨干网络的低层的两个输出特征 图进行关键信息提取和冗余信息去除； 基于两个 CBAM注意力模块所输出的两个注意力特征图进 行特征融合， 去除YOL Ov5预测端的输 出特征图的 尺寸最小的预测分支， 得到用于果实识别和定位 的FR‑YOLOv5网络； 将待检测图像输入至训练好 的FR‑YOLOv5网络进行检测， 得到每个果实在待 检测图像中的位置坐标； 根据各果实的位置坐 标， 依次从待检测图像中裁剪出每个果实的所在 区域图像； 将区域图像输入至训练好的进行果实 成熟度分类的分类网络， 得到各个果实的成熟度 类别。 该方法能降低检测 复杂程度， 提升检测准 确率。 权利要求书2页 说明书6页 附图2页 CN 114550166 B 2022.08.19 CN 114550166 B 1.一种面向智慧大棚的果实检测方法， 其特 征在于， 包括： 在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块， 两个CBAM注意力模块分别用于 对YOLOv5的骨干网络的低层的两个输出 特征图进行关键信息提取和冗余信息去除； 基于两个CBAM注意力 模块所输出的两个注意力特征图进行特征融合， 去除YOLOv5预测 端的输出 特征图的尺寸 最小的预测分支， 得到用于果实识别和定位的FR ‑YOLOv5网络； 将待检测图像输入至训练好的所述FR ‑YOLOv5网络进行检测， 得到每个果实在所述待 检测图像中的位置坐标； 根据各果实的位置坐标， 依 次从所述待检测图像中裁剪出每个果 实的所在区域图像； 将所述区域图像输入至训练好的进行果实成熟度分类的分类网络， 得到各个果实的成 熟度类别； 统计各个成熟度类别的果实的数量； 采用工业相机拍摄大棚内不同生长周期下的果实图像； 对所述果实图像进行图像标注， 在每张果实图像中标注出各个果实的所在位置框， 获 得每张果实图像对应的标注文件； 通过图像预处 理对所述 果实图像进行 数量扩充； 将扩充后的果实图像和对应的标注文件按比例划分为第 一训练集和第 一测试集， 得到 果实检测数据集； 基于所述 果实检测数据集的第一训练集对FR ‑YOLOv5网络进行训练； 基于所述果实检测数据 集的第一测试集对训练后的FR ‑YOLOv5网络进行测试， 确定FR ‑ YOLOv5网络的检测准确率满足预设准确率要求， FR ‑YOLOv5网络的训练完成； 建立果实的成熟度分类数据集； 所述果实成熟度分类的分类网络根据所述FR ‑YOLOv5网络检测得到每个果实在所述待 检测图像中的位置坐标信息， 将果实检测数据集中的所有果实目标从原图中批量裁剪下 来， 获得仅包含果实的果实小图， 根据所述果实小图中果实的果面着色程度对所有所述果 实小图进 行分类， 将果面着色度大于100％的所述果 实小图存放至 “一级果”文件夹， 将果面 着色度小于100％且大于75％的所述果实小图存放至 “二级果”文件夹， 将果面着色度小于 75％的果 实小图存放至 “未熟果”文件夹； 其次， 采用旋转、 加噪预 处理操作对果 实图像进 行 数量扩充； 最后， 将各文件夹中的果实小图按7:3比例划分为训练集和测试集， 从而得到成 熟度分类数据集； 采用分类网络ResNet101进行果实的成熟度分类， 采用Imagenet数据集对所述 ResNet101网络进行参数预训练； 然后， 采用所述 成熟度分类数据集的训练集对 预训练后的 ResNet101进行网络训练和参数优化； 当训练后的ResNet101在测试集上的准确率达到指定 要求后， 获得ResNet101模型； 将所述FR ‑YOLOv5网络所输出的各果实所在区域图像作为输入图像， 依次输入到 ResNet101模 型中， 从而获得各所述果 实小图对应的果实成熟度类别， 如果 成熟度类别为 1， 则输出指令 “可采摘， 属一级果 ”， 并根据索引顺序， 输出其在原图像中的坐标信息； 如果成 熟度类别为2， 则输出指令 “可采摘， 属二级果 ”， 并根据索引顺序， 其在原 图像中的坐标信 息； 否则说明果实成熟度不达标， 输出指令 “未成熟， 不采摘 ”； 根据所述ResNet101模型输出的指令统计不同级别果实的数量。 2.根据权利要求1所述的面向智慧大棚的果实检测方法， 其特 征在于， 还 包括：权　利　要　求　书 1/2 页 2 CN 114550166 B 2采用Imagenet数据集对ResNet101进行参数 预训练； 采用成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化； 确定训练后的ResNet101在成熟度分类数据 集的测试集上的准确率达到预设准确率要 求， 则确定ResNet101训练完成。 3.根据权利要求1所述的面向智慧大棚的果实检测方法， 其特 征在于， 还 包括： 根据所述标注文件中标注出的各个果实的所在位置框， 将果实检测数据集中的所有果 实目标从原图中裁 剪下来， 得到仅包 含果实的果实小图； 根据所述果实小图中果实的着色面积， 为果实小图添加成熟度标签， 获得每张果实小 图对应的成熟度标注文件； 对所述果实小图进行 数量扩充； 将扩充后的果实小图和对应的成熟度标注文件按比例划分为第二训练集和第二测试 集， 得到成熟度分类数据集。 4.一种面向智慧大棚的果实检测装置， 其特 征在于， 包括： 存储器， 用于存 储程序指令； 处理器， 用于调用所述存储器 中存储的所述程序指令以实现如权利要求1至3 中任一项 所述的面向智慧大棚的果实检测方法。 5.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有程序代码， 所述程序代码用于实现如权利要求1至 3中任一项所述的面向智慧大棚的果实检测方法。权　利　要　求　书 2/2 页 3 CN 114550166 B 3