(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211081225.5 (22)申请日 2022.09.06 (71)申请人 江苏及象生态 环境研究院有限公司 地址 210013 江苏省南京市 鼓楼区古平岗4 号C座412-417 (72)发明人 左瑞亭　赵新来　张金柱　魏晨晨　 王迎旭　 (74)专利代理 机构 常州佰业腾飞专利代理事务 所(普通合伙) 32231 专利代理师 任珊珊 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) H04N 7/18(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种无人机机载吊舱人工智能边缘计算系 统及其方法 (57)摘要 本发明公开了一种无人机机载吊舱人工智 能边缘计算系统及其方法， 属于图像处理技术领 域， 包括在无人机载体内设有边缘计算模块、 摄 像机、 摄像机云台、 微波传输模块和电池组， 通过 YOLOv5模型框架建立YOL Ov5网络结构模型， 并通 过训练集对YOL Ov5网络结构模型进行训练， 编写 图像识别脚本， 根据信号的覆盖范围传输检测结 果和图像数据， 解决了在无人机内部部署边缘计 算系统， 使视频流数据即使在网络受阻的情况下 也可以得到正确处理的技术问题， 本发明可以快 速的对图片进行本地处理， 不受网络影响， 保证 不漏掉一帧图谱， 本发明为在无网络或 网络条件 不好的情况下及时传输结果数据提供了一种优 选的方案 。 权利要求书2页 说明书5页 附图3页 CN 115170990 A 2022.10.11 CN 115170990 A 1.一种无人机机载吊舱人工智能边缘计算系 统， 包括无人机载体 （5） 、 基站 （1） 和通讯 终端， 其特征在于： 在无人机载体 （5） 内设有边缘计算模块 （6） 、 摄像机 （7） 、 摄像机云台、 微 波传输模块 （8） 和电池组 （9） ， 摄像机 （7） 、 摄像机云台和微波传输模块 （8） 均连接边缘计算 模块 （6） ， 电池组 （9） 为边缘计算模块 （6） 、 摄像机 （7） 、 摄像机云台、 微波传输模块 （8） 和无人 机载体 （5） 供电； 微波传输模块 （8） 通过 无线微波信号分别于基站 （1） 和通讯终端 进行无线通信； 基站 （1） 与通讯终端通过 无线微波信号进行通信； 在边缘计算模块 （6） 内建立用于图像处理的图像识别模块、 用于控制摄像机云台并获 取摄像机 （7） 拍摄的视频流的摄像机及云台模块和用于控制微波传输模块 （8） 进行无线通 信的微波控制模块； 在图像识别模块中构建YOLOv5模型框架， YOLOv5模型框架用于建立YOLOv5网络结构模 型， 并通过YOLOv5网络结构模型对视频流中的图像数据进行处 理； YOLOv5模型框架包括输入端、 Backbone骨干网络、 Neck颈部和Head输出端， 输入端用于 获取图像数据， 并采用Mosaic数据增强、 自适应锚框计算和自适应图片缩放对图像数据进 行预处理； Backbone骨干网络用于通过Foucs结构对预处理后的图像数据进行切片操作， 生成图 像数据的切片数据； Neck颈部用于对切片数据进行 卷积操作， 生成卷积结果； Head输出端用于通过Boundin g box损失函数和NMS非极大抑制算法对卷积结果进行计 算， 生成预测结果并进行输出。 2.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统， 其特征在于： 所述 边缘计算模块 （6） 为NVIDIA  Jetson Xavier NX模组， 所述摄像机 （7） 的型号为SONY  FCB‑ EV7520A&FCB‑CV7520A， 所述微波传输模块 （8） 采用传输频率范围为300 ‑1500MHz、 发射功率 为30dBm的微波通信模块。 3.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统， 其特征在于： 所述 YOLOv5网络结构模型采用CS P结构构建Backbo ne骨干网络和Neck颈 部。 4.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统， 其特征在于： 在所 述图像识别模块中建立训练集， 训练集中存储用于训练用的图像数据， 所述YOLOv5网络结 构模型通过训练集进行训练。 5.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统， 其特征在于： 所述 通讯终端包括手机 （2） 、 平板电脑 （4） 和笔记本电脑 （3） 。 6.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统， 其特征在于： 所述 无线微波信号 为4G网联信号。 7.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统， 其特征在于： 所述 边缘计算模块 （6） 还用于存 储摄像机 （7） 拍摄的图像数据以及对图像数据的预测结果。 8.应用于如权1所述的一种无人机机载吊舱人工智能边缘计算系统的一种无人机机载 吊舱人工智能边 缘计算方法， 其特 征在于： 具体包括如下步骤： 步骤1： 在 无人机载体 （5） 内部署边缘计算模块 （6） 、 摄像机 （7） 、 摄像机云台和微波传输 模块 （8） ；权　利　要　求　书 1/2 页 2 CN 115170990 A 2摄像机 （7） 、 摄 像机云台和微波传输模块 （8） 均连接边 缘计算模块 （6） ； 在边缘计算模块 （6） 存储多个图像数据， 并存储在训练集中， 在边缘计算模块 （6） 的图 像识别模块中， 通过YOLOv5模型框架建立YOLOv5网络结构模型， 并通过训练集对YOLOv5网 络结构模型进行训练， 得到目标检测模型并生成预测结果， 根据目标检测模型和预测结果 编写图像识别脚本； 步骤2： 在无人机起飞后， 边缘计算模块 （6） 中的摄像机及云台模块控制摄像机和摄像 头机云台进行工作， 拍摄视频流， 摄 像机及云台模块采集视频流中的待识别图像数据； 步骤3： 图像识别模块获取待识别图像数据， 利用图像识别脚本对待识别图像数据进行 目标检测， 生成检测结果； 步骤4： 图像识别 模块将检测结果以结构化数据形式存储于边缘计算模块 （6） 中的待上 传文件夹， 将用于展示的视频流同样存储于边缘计算模块 （6） 中的待 上传文件夹， 并将飞行 过程中产生的所有 文件存储于边缘计算模块 （6） 中的本地文件夹； 步骤5： 边缘计算模块 （6） 中的4G通信模块实时检测4G网络的信号强度， 边缘计算模块 （6） 中的微波控制模块获取信号强度， 判断无人机所在区域内是否有 稳定的4G 网络， 即是否 存在基站 （1） ： 是， 则通过4G网络优先传输检测结果， 随后传输用于展示的视频流到地面控 制端， 执行步骤8； 否， 则执 行步骤6； 步骤6： 使用边缘计算模块 （6） 中的微波控制模块对微波传输模块 （8） 进行操作， 判断区 域内是否存在任意微波传输的覆盖范围， 即是否存在通讯终端： 是， 则执行步骤7； 否， 则采 用步骤4的方法对检测结果和视频流进行暂存， 执 行步骤8； 步骤7： 通过微波传输模块 （8） 优先传输待上传文件夹中的检测结果， 随后传输待上传 文件夹中用于展示的视频流到地 面控制端， 执 行步骤8； 步骤8： 地面控制端接收检测结果和视频流并予以显示， 无人机飞行结束， 拍摄完毕后， 边缘计算模块 （6） 结束程序流 程。权　利　要　求　书 2/2 页 3 CN 115170990 A 3