(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210441815.8 (22)申请日 2022.04.26 (71)申请人 青岛慧拓智能机 器有限公司 地址 266109 山东省青岛市高新区火炬路 100号盘谷创客空间D座20 6-1房间 申请人 中科慧拓 （陕西） 科技有限公司 (72)发明人 郭叙森　李静　蔡杰　周彤　 王俊晓　朱亚琛　袁胜　张睿　 (74)专利代理 机构 北京力量专利代理事务所 (特殊普通 合伙) 11504 专利代理师 毛雨田 (51)Int.Cl. G06T 7/215(2017.01) G06T 7/246(2017.01) G06T 7/277(2017.01)G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种露天矿山的路端多源传感器融合目标 感知方法和系统 (57)摘要 本发明公开了一种露天矿山的路端多源传 感器融合目标感知方法和系统， 具体包括： 进行 数据采集， 从传感器设备读取数据， 对数据进行 格式转换； 对 图像进行实例分割以及深度估计； 对点云数据进行融合， 对前景点 云数据进行聚类 处理， 对点云簇构建三维检测框； 进行异构信息 融合， 将融合检测结果与轨迹关联， 对目标观测 值进行最优估计， 输出未来的运动轨迹。 本发明 对车路协同感知环境做了适配， 通过多相机、 多 激光雷达感知结果的融合实现场景范围感知 的 全覆盖， 并提升了感知算法在 恶劣天气下的鲁棒 性， 通过结合高精度地图信息实现目标未来轨迹 的精确预测， 表现出功耗低、 效果好、 鲁棒性高的 特点， 很适 合大规模 商业落地与推广。 权利要求书3页 说明书12页 附图5页 CN 114862901 A 2022.08.05 CN 114862901 A 1.一种露天矿山的路端多源传感器融合目标感知方法， 其特征在于， 具体包括如下步 骤： 步骤一） 数据采集： 进行 数据采集， 从传感器设备读取 数据， 对数据进行格式转换； 步骤二） 图像多任务感知： 对采集到的道路目标图像进行实例分割以及深度估计， 得到 实例分割结果和深度图； 步骤三） 点云目标检测： 对点云数据进行多雷达融合， 得到统一坐标的融合点云数据， 然后通过背景滤波获得前景点云数据， 通过聚类算法对前景点云数据进行聚类处理， 对通 过聚类处 理得到的点云簇构建三维检测框， 得到三维目标框； 步骤四） 异构信息融合： 对图像实例分割、 深度图、 三维目标框进行异构信息 融合， 输出 目标3D检测结果； 步骤五） 多目标跟踪： 根据异构信 息融合后的首帧结果建立轨迹， 将融合检测结果与轨 迹关联， 对目标观测值进行最优 估计； 步骤六） 轨迹预测： 根据路侧区域的高精度地图信息， 结合目标的追踪结果， 输出未来 的运动轨 迹。 2.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法， 其特征在于， 在步骤一） 中， 对数据进行采集的同时进行时间同步， 通过统一时钟源发送触发信号， 触发 不同的传感器采集数据， 并给所有数据赋上触发时刻的时间戳， 实现不同传感器数据的纳 秒级时间同步。 3.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法， 其特征在于， 在步骤二） 中， 在路侧视角利用工业相机采集道路目标图像， 对采集到的道路目标图像进 行 实例分割以及深度估计， 利用多任务深度学习网络， 在具体应用场景 的数据集上训练并实 现实例分割和深度估计。 4.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法， 其特征在于， 在步骤三） 中： 将不同激光雷达传感器输出的局部坐标系下的点云帧转到统一的坐标系下， 得到一帧 完整视野范围的融合 点云帧； 接收融合点云帧数据并进行过滤操作， 过滤操作包括下采样、 非法点去除、 离群点去除 以及感兴趣区域过 滤操作， 输出处 理后的点云数据； 过滤点云帧中的背景点云， 将检测范围划分为不同的体素， 在线采集若干点云帧， 统计 每个体素的点云密度， 制作背 景表， 根据当前点对应的体素在背 景表中的点云密度值， 设置 阈值过滤背景点； 利用DBSCAN 算法完成对前 景点云的聚类， 将同一目标的点云聚为 一类； 利用OBB方向包围框算法构建每一个点云簇的三维检测框 。 5.根据权利要求1所述的露天矿山的路端 多源传感器融合目标感知方法， 其特 征在于： 在步骤四） 中， 将图像实例分割、 深度估计、 多雷达点云融合数据进行融合， 输出目标3D 检测结果， 3D检测结果包括语义类别尺寸及3D位姿信息； 在步骤五） 中， 根据异构信息融合后的首帧结果建立轨迹， 当下一帧融合结果到来时， 利用匈牙利二分图匹配算法将 融合检测结果与轨迹关联， 使用卡尔曼滤波技术， 对目标观 测值进行最优 估计。权　利　要　求　书 1/3 页 2 CN 114862901 A 26.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法， 其特征在于， 在步骤六） 中， 根据目标的追踪结果以及高精度地图信息， 输出未来的运动轨迹， 地图信息 包括车道引导线、 平整度以及坡度信息， 运动轨 迹包括位置信息、 速度、 加速度。 7.一种露天矿山的路端 多源传感器融合目标感知系统， 其特 征在于， 具体包括： 数据采集模块， 进行 数据采集， 从传感器设备读取 数据， 对数据进行格式转换； 图像多任务感知模块， 对采集到的道路目标图像进行实例分割以及深度估计， 得到实 例分割结果和深度图； 点云目标检测模块， 对点云数据进行多雷达融合， 得到统一坐标的融合点云数据， 通过 背景滤波获取前景点云数据， 通过聚类算法对前景点云数据进行聚类处理， 对通过聚类处 理得到的点云簇构建三维检测框， 得到三维目标框； 异构信息融合模块， 对图像实例分割、 深度图、 三维目标框进行异构信息融合， 输出目 标3D检测结果； 多目标跟踪模块， 用于根据异构信息融合后的首帧结果建立轨迹， 将融合检测结果与 轨迹关联， 对目标观测值进行最优 估计； 轨迹预测模块， 用于根据目标追踪结果和高精度地图信息输出未来的运动轨迹， 高精 度地图信息包括车道引导线、 平整度以及坡度信息， 运动轨 迹包括位置信息、 速度、 加速度。 8.根据权利要求7所述的露天矿山的路端多源传感器融合目标感知系统， 其特征在于， 在点云目标检测模块中， 包括预 处理模块、 背景滤波模块、 点云聚类模块、 3D 框重建模块， 其 中； 预处理模块， 用于接收来自原始点云帧数据或是多点云融合模块输出的融合点云帧数 据， 对融合点云帧数据进行过滤操作， 过滤操作包括下采样、 非法点去除、 离群点去除以及 感兴趣区域过 滤操作， 输出处 理后的点云数据； 背景滤波模块， 用于过滤点云帧中的背景点云， 将检测范围形式化为三维体素表示， 在 线采集若干点云帧， 统计每个体素的点云密度， 制作背 景表， 根据当前点对应的体素在背 景 表中的点云密度值， 根据阈值过 滤背景点； 点云聚类模块， 用于利用DBSCAN算法完成对前景点云的聚类， 将同一目标的点云聚为 一类； 3D框重建模块， 利用OBB方向包围框算法构建每一个点云簇的三维检测框， 点云聚类模 块得到的每一个点云簇都需要通过3D框 重建模块构建对应的3D框； 在多目标跟踪模块中， 异构信息融合模块的融合结果最终输入到多目标跟踪模块， 多 目标跟踪模块首先根据首帧融合结果建立轨迹， 当下一帧融合结果到来时， 利用匈牙利二 分图匹配算法将 融合检测结果和轨迹关联， 然后使用卡尔曼滤波技术， 对目标观测 值进行 最优估计。 9.一种电子设备， 其特征在于， 包括： 处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存储器通过通信总线完成相互间的通信； 所述存储器中存储有计算机程序， 当所述计算机程序被所述处理器执行时， 使得所述处理器执行权利要求 1至6中任一项所述 方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 其存储有可由电子设备执行的计算机程 序， 当所述计算机程序在所述电子设备上运行时， 使得所述电子设备执行权利要求1至6中权　利　要　求　书 2/3 页 3 CN 114862901 A 3