(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654718.9 (22)申请日 2021.12.3 0 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 罗春雷　罗睿　杨凯　何磊　 温鹏坤　 (74)专利代理 机构 长沙智路知识产权代理事务 所(普通合伙) 4324 4 代理人 陈建国 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/00(2017.01) G06T 5/30(2006.01) B25J 9/16(2006.01)B25J 11/00(2006.01) B25J 15/08(2006.01) B25J 19/02(2006.01) A01G 18/70(2018.01) (54)发明名称 一种成簇平 菇的菌柄 采摘位置的检测方法 (57)摘要 本发明公开了一种成簇平菇的菌柄采摘位 置的检测方法， 包括： 将左右两列平菇培养袋出 菇口相对地摆放在地面上， 通过深度相机俯拍， 得到被拍摄区域的RGB彩色图像和深度图像； 将 RGB彩色图像输入YOLOv5模型， 输出矩形边界框 将整簇平菇和整簇平菇菌柄分别包围； 对深度图 像矩阵处理， 确定平菇的生长方向； 对矩形边界 框包围的整簇平菇菌柄， 菌柄采摘位置为矩形边 界框的几何中心； 对矩形边界框包围的整簇平 菇， 根据平菇生长方向分别计算菌柄采摘位置的 二维坐标； 代入深度图像矩阵， 得到整簇平菇菌 柄的采摘位置的三维坐标。 本发 明不受菌柄被遮 挡的影响， 针对菌柄的检测方法鲁棒性能好、 准 确度高， 且能有效降低采摘过程中对菌盖的损 伤。 权利要求书3页 说明书10页 附图6页 CN 114387343 A 2022.04.22 CN 114387343 A 1.一种成簇平 菇的菌柄 采摘位置的检测方法， 其特 征在于， 包括以下步骤： S1、 将左右两列平菇培养袋出菇口相对地摆放在地面上， 通过深度相机俯拍平菇和平 菇培养袋， 得到被拍摄区域的RGB彩色图像帧和深度图像帧； S2、 对所述RGB彩色图像帧提取数据得到RGB彩色图像， 输入平菇的YOLOv5深度神经网 络模型中， 输出矩形边界框将RGB彩色图像中的整簇平菇和整簇平菇菌柄分别包围， 以及所 述矩形边界框的以像素为单位的宽、 高和矩形边界框的几何中心坐标； S3、 对所述深度图像帧提取数据得到深度图像矩阵Z， 通过众数膨胀卷积预处理后， 根 据平菇培养袋区域的深度值与地 面的深度值的差异， 确定平 菇生长方向； 其中， 令zp,q为深度图像矩阵Z中第p 行第q列的深度 值， r为矩阵的行数， 对应图像的高， 单位为像素， s为矩阵的列数， 对应图像的宽， 单位 为像素； S4、 计算菌柄采摘位置的二维坐标： 对于矩形边界框包围的整簇平菇菌柄， 菌柄采摘位 置的二维坐标为对应的所述矩形边界框的几何中心坐标； 对于矩形边界框包围的整簇平 菇， 根据所述平 菇生长方向计算菌柄 采摘位置的二维坐标(P0x,P0y)： P0y＝P1y 其中， 平菇生长方 向从左向右时， P0x公式为减号， 平菇生长方 向从右向左时， P0x公式为 加号； (P1x， P1y)为整簇平菇的矩形边界框的几何中心坐 标， w1为整簇平菇的矩形边界框的宽 度， d为整簇平菇菌柄半轴长度， 表 示整簇平菇菌柄的采摘位置到整簇平菇菌柄根部附近的 整簇平菇的矩形边界框的距离,d和w1之间的比例关系通过统计得到； S5、 根据所述采摘位置的二维坐标和所述深度图像矩阵Z， 得到采摘位置的深度值 得 到 整 簇 平 菇 菌 柄 的 采 摘 位 置 在 像 素 坐 标 系 下 的 三 维 坐 标 控制仿生 柔性手指以所述采摘位置为目标进行采摘。 2.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法， 其特征在于， 所述深度 相机安装在六自由度机械臂 最末端的机械臂关节上， 通过六自由度机械臂调整所述深度相 机的姿态。 3.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法， 其特征在于， 所述深度 相机包括 RGB彩色相机、 左红外相机和右红外相机， 所述左红外相机和右红外相机位于同一 平面； 所述左红外相机和右红外相机相同， 获得深度图像帧， 每个像素值表示相机与目标表 面之间的距离； 所述RGB彩色相机获得RGB彩色图像帧， 每个像素值提供物体表面的颜色信 息和纹理信息。 4.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法， 其特征在于， 步骤S1之 后， 还包括将所述RGB彩色图像帧和深度图像帧进行对齐处 理。 5.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法， 其特征在于， 步骤S2 中， 所述平菇的Y OLOv5深度神经网络模 型通过将整簇平菇和整簇平菇菌柄分别标框后的平权　利　要　求　书 1/3 页 2 CN 114387343 A 2菇图片作为训练数据集， 输入YOLOv5深度神经网络模型训练得到 。 6.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法， 其特征在于， 步骤S3包 括以下步骤： S3.1、 对所述深度图像帧提取数据得到深度图像矩阵Z， 将所述深度图像矩阵Z进行彩 色化处理， 得到RGB彩色深度图像， 提取RGB彩色深度图像的B通道分量， 得到B通道灰度图像 及其B通道分量图像矩阵M， 令mp,q为B通道分量图像矩阵M中第p行第q列的灰度值， S3.2、 对所述B通道分量 图像矩阵M进行众数膨胀卷积， 得到众数膨胀卷积后的图像矩 阵M′； 令Ai,j为众数膨胀区域矩阵， 其中， k为卷积核的大小， i ＝0,k,2k, …,r， j＝0,k,2k, …,s； 令矩阵Ai,j中每个元素mp,q的状态为ap,q， 则 i≤p≤i+k ‑1 j≤q≤j+k ‑1 令矩阵Ai,j中的所有元 素的状态之和为σi,j， 则 将所述B通道分量图像矩阵M中属于Ai,j区域的元 素替换成Ai,j中的元素的众数， 即 其中， i＝0,k,2k, …,r； j＝0,k,2k, …,s； i≤p≤i+k ‑1； j≤q≤j+k ‑1； 得到众数膨胀卷积后的图像矩阵M ′， m′p,q为M′中第p行第q列的灰度值， S3.3、 根据众数膨胀卷积后的图像矩阵M ′在行方向对每一列进行遍历， 寻找梯度发生 变化的列向量， 判断平 菇生长方向；权　利　要　求　书 2/3 页 3 CN 114387343 A 3