(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211082826.8
(22)申请日 2022.09.06
(71)申请人 中诚华隆计算机技 术有限公司
地址 100012 北京市朝阳区来广营乡紫月
路18号院3号楼8层
(72)发明人 王嘉诚 张少仲 张栩
(74)专利代理 机构 北京智燃律师事务所 1 1864
专利代理师 柴琳琳
(51)Int.Cl.
G06V 20/58(2022.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06V 10/44(2022.01)
G06V 10/764(2022.01)
G06V 10/80(2022.01)G06V 10/82(2022.01)
G06V 20/56(2022.01)
G01C 21/28(2006.01)
(54)发明名称
基于多传感器数据融合的自动驾驶决策方
法及SoC芯片
(57)摘要
本发明公开了基于多传感器数据融合的自
动驾驶决策方法及SoC芯片, 属于机器学习和自
动驾驶技术领域, 该方法包括, 图像传感器采集
道路的图像数据, 将图像数据输入训练好的图像
目标检测神经网络模型, 进行车道图像目标检
测, 输出车道图像的目标检测数据; 激光雷达采
集3D点云数据, 将点云数据输入训练好的点 云目
标检测神经网络模型, 进行障碍物目标检测, 与
双目摄像头输出的障碍物信息进行融合, 生成障
碍物位置与距离数据; 将车道图像数据障碍物位
置距离数据进行数据融合, 校正车辆行驶的路况
信息, 作为自动驾驶决策的依据。 本发明的方案
可充分满足自动驾驶场景下实时性的要求, 同时
对不同传感器数据融合, 使 得对路况分析的准确
性大大提高。
权利要求书2页 说明书6页 附图2页
CN 115187964 A
2022.10.14
CN 115187964 A
1.基于多传感器数据融合的自动驾驶决策 方法, 其特 征在于, 包括以下步骤:
S1: RGB图像传感器采集车辆行驶道路的图像数据, 所述 图像数据包括车道线数据、 车
辆数据、 行 人数据以及交通标志数据;
S2: 将所述车道线数据、 车辆数据、 行人数据以及交通标志数据输入训练好的图像目标
检测神经网络模型, 进 行车道图像特征提取与特征融合, 输出车道图像的目标检测数据, 所
述图像目标检测 神经网络模型采用YOLOv7目标检测算法;
S3: 激光雷达采集3D点云数据, 将所述点云数据输入训练好的点云目标检测神经网络
模型, 进行距离特征提取与特征融合, 输出目标位置与距离数据, 与双目摄像头输出的目标
位置与距离信息进行融合, 生成最终的障碍物位置与距离数据, 所述神经网络模型采用
PointPillar目标检测算法;
S4: 将所述步骤S2生成的车道图像数据与步骤S3生成的障碍物位置距离数据进行数据
融合, 分析 各传感器是否存在误差, 校正车辆行驶的路况信息;
S5: 根据步骤S4校正的路况信息, 作出相应的决策应用于自动驾驶中。
2.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 所
述步骤S2中图像目标检测 神经模型的训练过程具体包括以下步骤:
S2‑1: 建立车道、 行 人及交通标志数据集, 所述数据集用于神经网络模型的训练;
S2‑2: 将所述车道、 行人及交通标志数据集进行预处理, 生成设定分辨率的RGB格式图
像;
S2‑3: 将所述格式图像依序通过YOLOv7网络的图像特征提取层、 图像特征融合层以及
图像目标检测层, 得到神经网络模型;
S2‑4: 检查训练次数是否达到设定目标, 若未达到设定目标, 则重复所述步骤S2 ‑3, 直
至达到设定的训练次数, 保存该神经网络模型, 作为图像目标检测 神经网络模型。
3.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 所
述步骤S3中点云目标检测 神经模型的训练过程具体包括以下步骤:
S3‑1: 建立激光雷达数据集, 所述数据集用于点云目标检测 神经模型的训练;
S3‑2: 将所述激光雷达数据集进行 预处理, 生成格式点云数据;
S3‑3: 将所述格式点云数据依序经过PointPillar网络的特征转换层、 特征提取层以及
目标检测层, 得到神经网络模型;
S3‑4: 检查训练次数是否达到设定目标, 若未达到设定目标, 则重复所述步骤S3 ‑3, 直
至达到设定的训练次数, 保存该神经网络模型, 作为 点云目标检测 神经网络模型。
4.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 所
述步骤S4的数据融合, 采用决策层融合方式, 将经过 处理的图像数据和雷达数据进 行匹配,
将雷达数据生成的障碍物位置与距离检测结果, 映射到图像数据的坐标, 形成 综合特征图。
5.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 所
述YOLOv7网络模型包括图像输入层、 图像特征提取层、 图像特征融合层以及图像目标检测
层; 所述图像输入层 对输入的图像进 行对齐; 所述图像特征提取层 进一步包括若干卷积层、
批量归一化层以及最大池化层, 用于丰富对齐图像的特征, 提取出车道、 车辆以及行人特
征; 所述图像特征融合层用于将不同阶段提取的特征进 行融合, 提高特征的准确率; 所述图
像目标检测层对融合后的特 征图进行路况信息特 征的检测, 输出图像 检测结果。权 利 要 求 书 1/2 页
2
CN 115187964 A
26.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 所
述PointPillar网络模 型包括点云特征转换层、 点云特征提取层以及点云目标检测层; 点云
特征转换层将输入的点云转换为稀疏的伪图像; 点云特征提取层处理伪图像得到高层的特
征; 点云目标检测层通过回归3D框检测目标的位置和距离 。
7.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 所
述交通标志数据的检测方法采用改进的轻量级 卷积神经网络, 所述轻量级 卷积神经网络使
用膨胀卷积实现滑动窗口方法, 使用数据集中的统计信息来加快网络前向传播的速度, 以
提高交通标志检测的效率。
8.根据权利要求6所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 输
入Pillar特征层的点云数据格式为P ×N×D, 其中P为选取的Pillar数量, N为每个Pillar存
储的最大点云数量, D为 点云的维度属性。
9.根据权利要求8所述的基于多传感器数据融合的自动驾驶决策方法, 其特征在于, 所
述点云的维度属性 为9维数据, 表征为:
其中
为原始的激光雷达点云数据,
表示三维坐标数据,
表示激光的反射
强度,
表示Pillar 中该激光点云相对N个点云中心的偏移量,
表示该激光点云
相对Pillar坐标的偏移量。
10.一种基于多传感器数据融合的自动驾驶决策SoC芯片, 其特征在于, 所述SoC芯片包
括通用处理器以及神经网络处理器; 所述通用处理器通过自定义指令控制神经网络处理器
的运行, 所述神经网络处 理器用于执 行权利要求1 ‑9任一项所述的方法。权 利 要 求 书 2/2 页
3
CN 115187964 A
3
专利 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
安全报告 >
其他 >
文档预览
中文文档
11 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 04:41:14上传分享