(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211115995.7 (22)申请日 2022.09.14 (71)申请人 湖北三峡职业 技术学院 地址 443000 湖北省宜昌市体 育场路31号 (72)发明人 焦梦婷　李秀兰　焦双凤　邓惠芳　 时鸿娟　张琳　张鑫鑫　杨怡　 (74)专利代理 机构 宜昌市三峡专利事务所 42103 专利代理师 李登桥 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/40(2022.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06T 17/00(2006.01)H04N 7/18(2006.01) (54)发明名称 一种挖掘机施工盲区环境碰撞隐患预测方 法 (57)摘要 本发明提供了一种挖掘机施工盲区环境碰 撞隐患预测方法， 包括以下方法步骤： 步骤1挖掘 机驾驶员盲区视频提取； 步骤2视频中物料特征 点云提取； 步骤3隐患点云辨别： 步骤4隐患运动 预测； 步骤5： 隐患碰撞报警。 本发明方法能够避 免挖掘机施工时与驾驶员盲区的物料产生碰撞 事故， 提高了挖掘机施工的安全性， 同时能够实 现自动化识别判断挖掘机施工工程中的碰撞隐 患风险， 为后续研究全自动化挖掘机械提供依 据。 权利要求书3页 说明书5页 附图3页 CN 115546758 A 2022.12.30 CN 115546758 A 1.一种挖掘机施工盲区环境碰撞隐患预测方法， 其特 征在于， 包括以下步骤： 步骤1， 挖掘机驾驶员盲区视频提取： 根据挖掘机施工过程中， 驾驶员不可视的视野盲区， 通过布置全景摄像头采集数据， 需 采集到挖掘机施工盲区的全景， 并实时上传至云端 进行存储和处理； 步骤2， 视频中物料 特征点云提取： 先基于采集到视频实时提取图像， 之后基于 图像提取相应的特征点云， 并依据提取的 特征点构建物料的点云； 步骤3， 隐患点云辨别： 首先， 将步骤2中提取的特征点云进行配准到一个空间坐标系内， 并依据提取的特征点 云构建点云， 即把提取 的特征点云按照空间关系重建成点云， 此时将有近邻的特征点云构 建的点云认为是隐患物料点云， 而没有近邻的点云视为能共存的物体， 不会对挖掘 机的施 工造成安全隐患； 步骤4， 隐患运动预测： 将前一时刻运动到的地点与 下一时刻运动到的地点记录下来， 以此得到连续 时间段内 的运动轨 迹， 并基于施工路径， 构建隐患运动网络， 基于神经网络预测隐患运动的轨 迹； 步骤5， 隐患碰撞报警： 以挖掘机施工路径作为红线， 与预测隐患运动轨迹的交点作为报警点， 并立即产生碰 撞报警， 提醒挖掘机驾驶员存在碰撞隐患， 并实时在显示屏上显示当前施工环 境， 辅助驾驶 员做出应急操作。 2.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述 步骤2视频中物料 特征点云提取， 操作方法如下： 从实时采集的挖掘机盲区影像中可获取相应的特征点信息， 包括该特征点的三维坐 标、 摄像头姿态、 摄像头焦距和摄像头分辨率， 并将其转换为建立虚拟相机的参数， 利用转 换好的地理标签参数， 在构建的施工路径中相同位置以相同相机姿态和成像参数进行渲 染， 得到与实际位置相同的特 征点云， 并将生成的特 征点云叠加到对应施工路径之上。 3.根据权利要求2所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述 摄像头姿态包括摄 像头所处的角度以及位置 。 4.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述 步骤3中隐患点云辨别， 操作方法如下： 对实时生成的特征点云， 通过三维重建， 平移、 旋转到一个相同的空间坐标系下， 上述 的三维重建方法可通过点云配准将不同坐标系下的点云统一到一个相同的坐标系中， 并以 此空间关系构建点云， 将有近邻的特征点云构建的点云认为是隐患物料点云， 而没有近邻 的点云视为能共 存的物体， 基于此原理提取 可能对挖掘机施工 造成影响的隐患点云。 5.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述 步骤4中隐患运动预测， 操作方法如下： 将步骤3中辨别到的隐患 点云， 根据点云前一 时刻与此时刻的地点记录下来， 并基于此 前的时刻在挖掘机施工路径中构建隐患行进轨迹网络， 基于神经网络预测未来时刻隐患运 动的轨迹， 得到隐患运动的轨 迹图。 6.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述权　利　要　求　书 1/3 页 2 CN 115546758 A 2步骤4中预测隐患运动轨 迹对挖掘机施工 造成的影响， 操作方法如下： 首先， 将得到的隐患运动轨迹图叠加显示在挖掘机施工路径图上， 然后， 以挖掘机施工 路径为红线， 红线与隐患运动轨迹相交时发出报警信息， 提醒现场管理人员与挖掘 机驾驶 员， 最后， 实时在显示上显示当前隐患处的具体情况， 辅助驾驶员做出应急操作。 7.根据权利要求6所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述 的显示屏包括云端服务器端的显示屏及挖掘机驾驶室内的显示屏， 分别供管理人员及挖掘 机驾驶员做出判断。 8.根据权利要求4所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述 步骤3中将步骤2中提取的特征点云进行配准到一个空间坐标系内， 包括平移、 旋转其变换 操作如式(1)所示： 式(1)中， [x ′i y′i z′i]T表示配准转换后特征点云的坐标值； [xi yi zi]T表示初始特征 点云的坐标值； 表示旋转矩阵； 表示平移矩阵， 其中a、 β、 γ分别表示点沿下x、 y、 z轴的旋转角度， tx.、 ty、 tz则表示 点沿x、 y、 z轴的平 移量； 基于此得到特征点云在同一个空间坐标系下的关系， 并依据提取的特征点云构建点 云， 即把提取 的特征点云按照空间关系重建成点云， 此时将有近邻的特征点云构建的点云 认为是隐患物料点云， 而没有近邻的点云视为能共存的物体， 不会对挖掘 机的施工造成安 全隐患； 采用上述的相邻原则筛 选得到， 可能对挖掘机运行产生碰撞的隐患点云。 9.根据权利要求5所述一种挖掘机施工盲区环境碰撞隐患预测方法， 其特征在于： 所述 步骤4隐患运动预测过程 为： 将前一时刻运动到的地点与 下一时刻运动到的地点记录下来， 以此得到连续 时间段内 的运动轨迹， 并基于施工路径， 构建隐患运动网络， 基于神经网络预测隐患运动的轨迹如 下： l为设定值； h＝1,2, …,na,b＝1,2, …,nb； 取二次性能指标函数： 式(2)中， rg为控制的参数； Δu(h+g ‑1)＝u(h+g ‑1)‑u(h+g‑2)， 可以由 解得权　利　要　求　书 2/3 页 3 CN 115546758 A 3