(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210420280.6 (22)申请日 2022.04.21 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 邹荣　戴文杰　顾寄南　李金炎　 张娱　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 胡德水 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/40(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于特征融合图神经网络的茶叶嫩梢 检测方法 (57)摘要 本发明提供了一种基于特征融合图神经网 络的茶叶嫩梢检测方法。 涉及农业智 能化领域， 步骤(1):数据的获取， 使用权利要求1所述光阱 获得待检测目标的点云及RGB图像。 步骤(2):使 用CNN对二维图像进行特征提取。 步骤(3):对点 云应用关键点检测算法， 检测关键点。 步骤(4): 将图像特征与点 云特征相融合。 步骤(5):建立图 结构， 使用步骤(3)检测到的关键点作为顶点并 建图。 步骤(6): 使用图神经网络对于茶叶嫩梢位 置进行预测。 步骤(7):生成预测框。 步骤(8): soft‑NMS算法生成最佳预测框。 本发明以光阱点 云获取系统克服茶叶嫩梢检测 中的遮挡问题并 运用改进的图神经网络提高检测精度， 实现茶叶 嫩梢的精准识别。 权利要求书3页 说明书7页 附图3页 CN 114973233 A 2022.08.30 CN 114973233 A 1.一种基于特 征融合图神经网络的茶叶嫩梢检测方法， 其特 征在于， 包括如下步骤： 步骤(1):数据的获取， 使用光阱获得待检测目标的点云及RGB图像； 步骤(2):使用卷积神经网络 CNN对二维图像进行 特征提取； 步骤(3):对点云应用关键点检测算法， 检测关键点； 步骤(4):将图像特 征与点云特 征相融合； 步骤(5):建立图结构， 使用步骤(3)检测到的关键点作为顶点并建图； 步骤(6):使用图神经网络对于茶叶嫩梢位置进行 预测； 步骤(7):生成预测框； 步骤(8):soft ‑NMS算法生成最佳 预测框。 2.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法， 其特征 在于， 步骤(1)具体包括： 设计了一个由四个平面镜组成的倒金字塔型的光 阱， 倒金字塔的底部敞开， 以便让足 够多的光线可以进入到光阱中， 在光阱上方以斜45 °放置另一面平面镜， 使用TOF传感器向 平面镜发射光束， 将被观测物体放置在倒金字塔的底部， 光束经过多次反射可覆盖物体表 面99％以上的面积， 并且得到所有点的三维坐标： dtotal表示从ToF传感器位置出发到触碰到目标物体表面光线走过的总路程， dk表示在 两次反射之间光线走 过的距离， d表示 光束最后一次触碰 到镜面到被测物体表面的距离； dmeans是由ToF传感器测量到的总距离， 由于光的反射定理， 光束会沿着原路径返回传感 器， 所以实际距离是所测量到 的距离的一半， 其中dk也可被计算为光束与下一次镜面反射 的位置减去上一次镜面反射位置， 即dk＝pk+1‑pk， 其中pk是光线在镜面第k次反射的反射点 位置， 而pk+1可由 计算所得， 是沿着光束反射方向的单位方向向量， 由斯涅 耳定律计算得到 nk是镜面的法线方向， 当知道ToF的初始位置p0和初始入射光线的方向向量r0即可递归 的计算出所有k∈[1...K]的pk和 由此便可得到被测物体 的三维坐标， 并进一步得到被 测物体的三维点云。 3.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法， 其特征 在于， 步骤(2)的具体过程 为： 将二维图像输入预训练的resnet50网络进行图像特征的提取， Resnet50包括一个 identity_bl ock和一个co nv_block， 最后得到一个深度为2048的特 征向量。 4.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法， 其特征 在于， 步骤(3)具体包括： 使用一种基于点云显著性的关键点提取算法， 包括一个显著性计算模块和关键点生成权　利　要　求　书 1/3 页 2 CN 114973233 A 2模块； 将显著性定义为预训练描述符特定层上的特征激活信号和同一层相对于输入点云的 梯度的组合， 利用预先训练好的描述符网络直接从3D数据生成鲁棒的关键点； 然后将显著 性投影到输入点云的球坐标系中， 提取信息量最大 的区域， 将这些区域与原始描述符的特 征相结合， 以提取鲁棒且可重复的关键点； 关键点检测算法通过将点云显著 性方法、 每点原 始特征以及点云上下文特征得到的特征向量融合后输入进两个全连接层来得到最终的关 键点的预测。 5.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法， 其特征 在于， 步骤(4)的具体过程 为： 利用resnet50得到的二维图像特征与点云特征通过concatenate函数融合在一起， 得 到新的特 征向量， 并把融合得到的新的特 征向量作为后续图结构的初始特 征。 6.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法， 其特征 在于， 步骤(5)的具体过程 为： 一个图结构包括了边和顶点两个元素， 即G＝(V,E)， 其中V表示图结构的顶点V＝{v1, v2,…,vn}， 将步骤(2)检测到的关键点作为顶 点vi； E是由顶 点相互连接得到的边， 可以依据 一定的条件来得到它： E＝{(vi,vj)|||xi‑xj||2＜r} 式中xi与xj分别为不同顶点的横坐标， r为两个顶点之间的距离， 每个顶点的特征不仅 包含了先前融合得到的初始特征还包含了与之相关联的边的特征， 即顶点的特征由Vi＝V0 更新为 Vi＝[V0,V1,V2,...,V128] V0,V1,V2,...,V128为与顶点相关联的其余顶点， Vi是更新后的顶点， 通过不断地更新顶 点的特征， 可以根据顶点 来判断局部区域物体的类别。 7.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法， 其特征 在于， 步骤(6)的具体过程 为： a)首先对所采集到三维点云中的茶叶嫩梢以进行手工标定目标框， 使得目标框能够刚 好包围我们所需要的对象； b)将得到的图结构作为网络的输入， 图神经网络通过聚合边的特征来实现顶点特征的 更新， 在t+1次迭代后， 顶点和边的特 征分别更新 为 其中 和 分别是顶点和边经过t次迭代后的特征， ft(.)函数计算了两个顶点之间边 的特征， ρ(.)将边 的特征聚合给顶点， gt(.)计算聚合了边 的特征后的顶点特征， 随后为每 一个顶点关联一个特 征提取函数MLP， 可以得到： 经过t次迭代后， 可以用得到的顶点特 征来预测目标的类别并获得目标的回归框 。权　利　要　求　书 2/3 页 3 CN 114973233 A 3