(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210270841.9 (22)申请日 2022.03.18 (71)申请人 上海伯镭智能科技有限公司 地址 200120 上海市浦东 新区中国 （上海） 自由贸易试验区纳贤路8 00号1幢B座6 层619-622室 (72)发明人 胡心怡　杨扬　 (74)专利代理 机构 北京知汇林知识产权代理事 务所(普通 合伙) 11794 专利代理师 杨华 (51)Int.Cl. G06V 20/64(2022.01) G06V 20/58(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) (54)发明名称 非标准道路场景中的道路检测方法及装置 (57)摘要 本发明公开了非标准道路场景中的道路检 测方法及装置， 涉及自动驾驶技术领域。 其中道 路检测方法包括： 传感器数据获取步骤， 获取点 云数据和图像数据； 道路所在地面获取步骤， 将 点云数据转换为体素数据， 基于已标注的图像数 据转换为鸟瞰图像后与体素数据融合、 从而根据 图像数据标注来生成体素数据正负样本而训练 的前馈神经网络， 从体素数据中检测地面三维结 构； 道路检测步骤， 从地面三维数据包含的点云 数据中学习到道路区域点集。 该技术方案学习到 真实的道路三维结构， 提高了道路感知的准确性 和驾驶安全性。 权利要求书3页 说明书18页 附图6页 CN 114612895 A 2022.06.10 CN 114612895 A 1.一种模型训练方法， 包括： 构建和训练传感器数据获取子模型 （1 10） ； 构建和训练道路所在地 面获取子模型 （120） ； 构建和训练道路检测子模型 （13 0） ； 所述传感器数据获取子模型 （110） 包括点云数据输入分支和图像数据输入分支； 所述 点云数据输入分支包括输入点云数据的输入层； 所述图像数据输入分支包括输入图像数据 的输入层； 所述传感器数据获取子模型的训练过程包括： 输入点云数据的输入层和输入图像数据 的输入层直接进行输入； 道路所在地面获取子模型 （120） 包括一个前馈神经网络； 所述前馈神经网络包括主输 入分支和从输入分支； 所述主输入分支包括点云层和 一个或多个体素层； 所述点云层接 收 点云数据输入， 所述一个或多个体素层将点云数据转换为体素数据； 所述从输入分支包括 图像层和 一个或多个映射层； 所述图像层接 收图像数据输入， 所述一个或多个映射层将图 像数据转换为鸟瞰图像； 所述前馈神经网络还包括一个或多个融合层和一个或多个地面 层； 所述一个或多个融合层接收所述鸟瞰图像、 所述体素数据， 根据鸟瞰图像和体素数据的 空间位置对其进行融合； 所述一个或多个地面层接 收所述融合层输出 的体素数据， 提取属 于地面区域的体素集 合， 获得地 面三维结构 （2 20） ； 所述前馈神经网络的训练过程包括： 预处理； 点云数据转换为体素数据； 图像数据转换 为鸟瞰图像； 数据融合和正负 样本生成； 利用正负 样本训练前馈神经网络； 所述道路检测子模型 （130） 包括一个卷积神经网络； 所述卷积神经网络包括多个神经 网络层； 所述多个神经网络层至少包括输入层、 卷积层、 池化层、 全连接层； 所述输入层接收 所述地面三维结构 （220） 包含的点云数据； 所述卷积神经网络从所述点云数据中提取到道 路区域点集 （230） ； 所述道路检测子模 型 （130） 根据所述道路区域点集 （230） 的三维坐标， 得 到道路区域的位置信息； 所述卷积神经网络的训练过程包括： 图像数据转换为鸟瞰图像； 获取地面三维结构的 点云数据； 利用正负 样本训练卷积神经网络 。 2.根据权利要求1所述的方法， 包括： 传感器数据获取子模型还包括深度图数据输入分支； 所述深度图数据输入分支包括输 入深度图数据的输入层、 以及将 深度图转换为 点云数据的一个或多个神经网络层； 所述将深度图转换为点云数据的一个或多个神经网络层的训练过程包括： 给定使用深 度图坐标系的深度图训练数据和对应的使用点云坐标系的点云训练数据， 以深度相机的内 参为约束条件执 行坐标系变换。 3.根据权利要求1所述的方法， 包括： 道路所在地 面获取子模型 （120） 的训练过程具体包括： 前馈神经网络构建； 预处理： 标定相机传感器， 标定雷达传感器； 点云数据转换为体素数据： 获取训练点云数据； 对空间进行体素划分； 将训练点云数据 转化为体素数据； 图像数据转换为鸟瞰图像： 获取已标注地面区域的训练图像数据； 将训练图像通过逆权　利　要　求　书 1/3 页 2 CN 114612895 A 2透视映射到鸟瞰视角， 获得鸟瞰图像； 数据融合和正负样本生成： 将鸟瞰图像与体素数据按照空间位置进行融合； 根据训练 图像的标注映射到鸟瞰图像再映射到体素数据； 上述具有地面区域标注的体素数据作为正 样本； 其他未被赋予地 面区域标注的体素 数据作为负 样本； 利用所述 正负样本训练所述前馈神经网络 。 4.根据权利要求1所述的方法， 包括： 图像数据转换为鸟瞰图像： 获取已标注的训练图像数据； 将训练图像通过逆透视映射 和配准映射 转化到鸟瞰视角， 获得鸟瞰图像； 数据融合和正负样本生成： 将鸟瞰图像的像素与地面三维结构 （220） 按照空间位置进 行融合； 根据训练图像的标注映射到鸟瞰图像再映射到体素数据； 获取每个体素中包含的 点云数据； 点云数据对应的标注与其所在体素 的标注相同； 上述具有道路区域标注的点云 数据作为 正样本； 以其 他未被赋予道路区域标注的点云数据作为负 样本； 利用所述 正负样本训练所述卷积神经网络； 所述卷积神经网络为 三维卷积神经网络 。 5.一种道路检测方法， 包括： 传感器数据获取步骤； 道路所在地 面获取步骤； 道路所在地 面获取步骤； 所述传感器数据获取步骤包括， 点云数据输入步骤和图像数据输入步骤； 所述点云数 据输入步骤接收原始 点云数据输入、 并对原始 点云数据进行预 处理， 获得点云数据； 所述图 像数据输入步骤接收原 始图像数据输入、 并对原 始图像数据进行 预处理， 获得图像数据； 所述道路所在地面获取步骤包括， 主输入步骤、 地面检测步骤； 所述主输入步骤接收点 云数据的输入， 基于体素对空间划分， 根据点云数据的空间坐标将其归入相应的体素， 获得 体素数据； 所述地面检测步骤， 基于已标注的图像数据转换为鸟瞰图像后与体素数据融合 从而根据图像数据标注来生成体素数据正负样本而训练的前馈神经网络， 从体素数据中检 测地面三维结构 （2 20） ； 所述 地面三维结构 （2 20） 是体素 数据中表示 地面的子集； 所述道路检测步骤包括： 接收地面三维结构 （220） 包含的点云数据； 基于卷积神经网络 从所述点云数据中学习到道路区域点集； 所述卷积神经网络包括多个神经网络层； 所述多 个神经网络层至少包括输入层、 卷积层、 池化层、 全连接层； 基于已标注的训练图像数据转 换为鸟瞰图像后与点云数据融合从而根据图像数据标注来生成点云数据正负样本而训练 所述卷积神经网络 。 6.根据权利要求5所述的方法， 所述传感器数据获取步骤， 还包括深度图数据输入步 骤； 所述深度图数据输入步骤接收深度图数据输入、 以及深度图转换点云步骤； 所述深度 图转换点云步骤将 深度图转 化为点云数据。 7.根据权利要求6所述的方法， 包括： 所述深度图转换点云步骤以深度相机的内参 为约束条件执 行坐标系变换。 8.根据权利要求5所述的方法， 所述道路所在地面获取步骤， 还包括从输入步骤、 融合 步骤；权　利　要　求　书 2/3 页 3 CN 114612895 A 3