(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062857.7 (22)申请日 2022.08.31 (71)申请人 北京市农林科 学院智能装备技 术研 究中心 地址 100097 北京市海淀区曙光 花园中路 11号农科大厦A座1 107 (72)发明人 陈立平　赵学观　付豪　翟长远　 范鹏飞　杨硕　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 任少瑞 (51)Int.Cl. G06V 20/40(2022.01) A01M 7/00(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 作物识别方法、 装置、 系统及农药喷施机器 人 (57)摘要 本发明提供一种作物识别方法、 装置、 系统 及农药喷施机器人， 该方法包括： 将当前帧图像 输入作物识别模 型， 获取作物识别模 型输出的当 前帧图像的原始识别结果； 基于当前帧图像的预 测结果， 修正当前帧图像的原始识别结果， 获得 当前帧图像的识别结果； 基于同一作物目标在上 一帧待识别图像的识别结果和当前帧待识别图 像的识别结果中的相对位置关系， 输出同一作物 目标的空间位置信息； 图像由移动中的图像采集 设备采集； 当前帧图像的预测结果基于上一帧图 像的识别结果确定。 本发明提供的作物识别方 法、 装置、 系统及农药喷施机器人， 能在移动场景 下对作物进行更准确的实时识别， 能提高作物识 别的鲁棒 性， 能为对 靶施药提供 数据支撑 。 权利要求书3页 说明书17页 附图6页 CN 115457437 A 2022.12.09 CN 115457437 A 1.一种作物 识别方法， 其特 征在于， 包括： 获取当前帧图像； 将所述当前帧图像输入作物识别模型， 获取所述作物识别模型输出的当前帧图像的原 始识别结果； 基于当前帧图像的预测结果， 修正所述当前帧图像的原始识别结果， 获得所述当前帧 图像的识别结果； 关联上一帧待识别图像的识别结果和所述当前帧待识别图像的识别结果中的同一作 物目标， 基于同一作 物目标在所述上一帧待识别图像的识别结果和所述当前帧待识别图像 的识别结果中的相对位置关系， 输出同一作物目标的空间位置信息； 其中， 所述图像由移动中的图像采集设备采集； 所述当前帧图像的预测结果基于上一 帧图像的识别结果确定； 所述作物识别模型， 是基于样本图像以及样本图像的原始识别结 果进行训练后得到的。 2.根据权利要求1所述的作物识别方法， 其特征在于， 所述作物识别 模型， 包括： 特征提 取模块、 特 征融合模块和作物 识别模块； 所述特征提取模块包括多个级联的神经网络单 元； 所述特征融合模块基于PANet网络构建， 包括多个级联的所述神经网络单 元； 所述神经网络单元为Transformer单元、 DWConv单元、 SPFF单元、 Upsample单元和 concat单元中的任意 一种； 所述Transformer单 元基于Transformer网络构建； 所述DWCo nv单元用于对输入的图像进行深度卷积、 归一 化处理和激活函数计算； SPFF单元用于将不同尺寸的输入图像进行 特征融合； Upsample 单元用于对输入图像进行 上采样； concat单元用于对输入图像进行co ncat函数计算。 3.根据权利要求1所述的作物识别方法， 其特征在于， 所述关联上一帧待识别图像的识 别结果和所述当前帧待识别图像的识别结果中的同一作物目标， 包括： 基于与所述上一帧待识别图像的识别结果和所述当前帧待识别图像的识别结果相对 应的交并比值， 关联所述上一帧图像的识别结果和所述当前帧图像的识别结果中的同一作 物目标。 4.根据权利要求1所述的作物识别方法， 其特征在于， 所述基于当前帧图像的预测结 果， 修正所述当前帧图像的原 始识别结果， 还 包括： 关联所述当前帧图像的预测结果和所述当前帧图像的原始识别结果中的同一作物目 标； 基于同一作物目标在所述当前帧图像的预测结果和所述当前帧图像的原始识别结果 中的相对位置关系， 修 正同一作物目标在所述当前帧图像的原 始识别结果中的位置； 在所述当前帧图像的预测结果中存在未关联的作物目标的情况下， 基于目标参数， 在 所述当前帧图像的原 始识别结果中添加所述未关联的作物目标； 其中， 所述目标参数包括当前帧与 上一帧之间的间隔时长以及所述图像采集设备的移 动速度。 5.根据权利要求1所述的作物识别方法， 其特征在于， 所述基于同一作物目标在所述上权　利　要　求　书 1/3 页 2 CN 115457437 A 2一帧待识别图像的识别结果和所述当前帧待识别图像的识别结果中的相对位置 关系， 输出 所述同一作物目标的位置信息， 包括： 基于同一作物目标在所述上一帧图像的识别结果中的位置信 息， 在所述当前帧图像的 识别结果中添加同一作物目标的映射对象； 在同一作物目标的映射对象对应的基准点和同一作物目标对应的基准点之间的连线， 与所述当前帧图像的识别结果中的预设基准线相交的情况下， 输出同一作物目标的空间位 置信息； 其中， 同一作物目标的映射对象对应的基准点， 为用于标注所述映射对象的标注框上 边界的中点； 同一作物目标对应的基准点， 为用于标注同一作物目标 的标注框上边界的中 点。 6.根据权利要求1至5任一所述的作物识别方法， 其特征在于， 所述样本 图像是基于如 下方式获取的： 获取原始样本图像； 在部分原始样本图像中添加运动模糊， 并将添加运动模糊后的原始样本图像以及未添 加运动模糊的原 始样本图像， 作为待处 理样本图像； 对所述待处理样本图像进行图像处理， 并将经过图像处理后的待处理样本图像作为所 述样本图像。 7.一种作物 识别装置， 其特 征在于， 包括： 图像获取模块， 用于获取当前帧图像； 作物识别模块， 用于将所述当前帧图像输入作物识别模型， 获取所述作物识别模型输 出的当前帧图像的原 始识别结果； 结果修正模块， 用于基于当前帧图像的预测结果， 修正所述当前帧图像的原始识别结 果， 获得所述当前帧图像的识别结果； 结果输出模块， 用于关联上一帧待识别图像的识别结果和所述当前帧待识别图像的识 别结果中的同一作 物目标， 基于同一作 物目标在所述上一帧待识别图像的识别结果和所述 当前帧待识别图像的识别结果中的相对位置关系， 输出同一作物目标的空间位置信息； 其中， 所述图像由移动中的图像采集设备采集； 所述当前帧图像的预测结果基于上一 帧图像的识别结果确定； 所述作物识别模型， 是基于样本图像以及样本图像的原始识别结 果进行训练后得到的。 8.一种作物识别系统， 其特征在于， 包括： 作物识别处理器； 还包括存储器及存储在所 述存储器上并可在所述作 物识别处理器上运行的程序或指 令， 所述程序或指令被所述作 物 识别处理器执行时执行如权利要求1至7任一项所述的作物 识别方法。 9.根据权利要求8所述的作物识别系统， 其特征在于， 还包括： 图像采集设备、 显示设备 以及电源； 所述图像采集设备、 所述显示设备与所述电源分别与所述作物 识别处理器连接； 所述图像采集设备用于在移动中实时采集种植于目标区域内的目标作物的视频流， 并 将所述视频流至所述作 物识别处理器， 以供所述作 物识别处理器基于所述视频流 获取当前 帧图像； 所述显示设备用于 接收并显示所述作物 识别处理器发送的作物目标的空间位置信息 。 10.一种农药喷施机器人， 其特征在于， 包括： 如权利要求8 或9所述的作物识别系统、 农权　利　要　求　书 2/3 页 3 CN 115457437 A 3