(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210292605.7 (22)申请日 2022.03.24 (71)申请人 深圳元戎启行 科技有限公司 地址 518054 广东省深圳市南 山区粤海街 道高新区社区科苑南路3099号中 国储 能大厦16 01 (72)发明人 万锐　邹晓艺　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 赖远龙 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 三维检测模型的训练方法、 装置、 计算机设 备和存储介质 (57)摘要 本申请涉及一种三维检测模 型的训练方法、 装置、 计算机设备和存储介质。 包括： 获取样本行 车区域图像和样本深度点云图像； 确定样本深度 点云图像中的样本点云所对应的样 本点云特征； 对样本深度点云图像进行随机扰动处理， 并确定 随机扰动后的样本深度点云图像中的每个样本 点云各自对应的位于样本行车区域图像中的样 本图像像素； 对于样本深度点云图像中的每个样 本点云， 均将当前样本点云所对应的样本点云特 征与相对应的样本图像像素的样本像素特征进 行融合， 得到样本目标点云特征； 根据样本目标 点云特征与点云特征标签间的差异， 得到训练好 的三维检测模 型。 采用本方法能够提高三维检测 模型的训练准确性。 权利要求书3页 说明书14页 附图5页 CN 114863201 A 2022.08.05 CN 114863201 A 1.一种三维检测模型的训练方法， 其特 征在于， 所述方法包括： 获取样本行车区域图像、 样本深度点云图像和所述样本深度点云图像中的样本点云所 对应的点云特 征标签； 确定所述样本深度点云图像中的样本点云所对应的样本点云特 征； 对所述样本深度点云图像进行随机扰动处理， 并确定随机扰动后的所述样本深度点云 图像中的每 个样本点云各自对应的位于所述样本行 车区域图像中的样本图像 像素； 对于所述样本深度点云图像中的每个样本点云， 均将当前样本点云所对应的样本点云 特征与相对应的样本图像 像素的样本像素 特征进行融合， 得到样本目标点云特 征； 根据所述样本目标点云特征与所述点云特征标签间的差异， 对三维检测模型进行训 练， 直到达到训练停止条件时停止， 得到训练好的三 维检测模 型； 所述三 维检测模型用于对 行车区域中的目标对象进行识别。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述样本深度点云图像进行随机扰 动处理， 包括： 获取所述样本深度点云图像对应的标定矩阵； 确定所述标定矩阵对应的扰动旋转角和扰动偏移量， 并根据所述扰动旋转角和所述扰 动偏移量， 确定所述标定矩阵对应的目标 标定矩阵； 通过所述目标 标定矩阵对所述样本深度点云图像进行随机扰动处 理。 3.根据权利要求2所述的方法， 其特征在于， 所述通过所述目标标定矩阵对所述样本深 度点云图像进行随机扰动处 理， 包括： 获取所述样本深度点云图像对应的随机扰动概 率； 基于所述随机扰动概 率， 确定所述样本深度点云图像中目标样本点云； 通过所述目标 标定矩阵对所述目标样本点云进行随机扰动处 理。 4.根据权利要求3所述的方法， 其特征在于， 所述通过所述目标标定矩阵对所述目标样 本点云进行随机扰动处 理， 包括： 确定所述目标样本点云的点云坐标； 通过所述目标 标定矩阵对所述 点云坐标进行转换， 得到目标坐标； 所述确定随机扰动后的所述样本深度点云图像中的每个样本点云各自对应的位于所 述样本行 车区域图像中的样本图像 像素， 包括： 将所述样本行车区域图像中的具有所述目标坐标的样本图像像素作为与所述目标样 本点云相对应的像素。 5.根据权利要求1所述的方法， 其特征在于， 所述三维检测模型包括卷积层、 多层感知 机层和归一化层， 所述将当前样本点云所对应的样本点云特征与相对应的样本图像像素的 样本像素 特征进行融合， 得到样本目标点云特 征， 包括： 通过所述三维检测模型中的卷积层， 对当前样本点云对应的样本图像像素的样本像素 特征进行卷积处理， 得到候选样本像素 特征； 通过所述三维检测模型中的多层感知机层， 对当前样本点云对应的样本点云特征进行 线性处理， 得到候选样本点云特 征； 通过所述三维检测模型中的归一化层， 对所述候选样本像素特征和所述候选样本点云 特征进行归一 化处理；权　利　要　求　书 1/3 页 2 CN 114863201 A 2将归一化处理后的所述候选样本像素特征和归一化处理后的所述候选样本点云特征 进行线性组合处 理， 得到样本目标点云特 征。 6.根据权利要求1所述的方法， 其特征在于， 所述三维检测模型的训练方法还包括对二 维监督结构进 行训练； 所述二维监督结构用于确定所述样本点云对应的样本图像像素的样 本像素特征； 所述二维监督结构的训练步骤， 包括： 获取样本行 车区域图像中的样本像素和样本像素对应的像素 特征标签； 确定样本行车区域图像中的初始样本像素、 以及每个所述初始样本像素各自对应的初 始样本像素特征， 并根据所述初始样本像素特征与所述初始样本像素对应的所述像素特征 标签， 得到首轮的二维监 督子结构； 从所述首轮之后的第 二轮次起的当前轮次中， 确定所述样本行车区域图像中的轮次样 本像素， 并通过历史轮次的所述二维监督子结构， 确定每个所述轮次样本像素各自对应的 轮次样本像素 特征； 所述历史轮次为在所述当前轮次之前的至少一个 轮次； 根据历史轮次的所述二维监督子结构、 所述轮次样本像素特征、 以及所述轮次样本像 素对应的所述像素 特征标签， 得到当前轮次的二维监 督子结构； 将下一轮次作为当前轮次， 并返回至所述从所述首轮之后的第二轮次起的当前轮次 中， 确定所述样本行车区域图像中的轮次样本像素， 并通过历史轮次的所述二维监督子结 构， 确定每个所述轮次样本像素各自对应的轮次样本像素特征的步骤并继续执行， 直至得 到当前轮次的二维监 督子结构； 综合每个轮次各自对应的二维监督子结构， 得到所述样本行车区域图像对应的二维监 督结构。 7.根据权利要求1所述的方法， 其特征在于， 所述三维检测模型包括三维监督结构和二 维监督结构； 所述三 维监督结构用于对点云特征提取结构所提取的样本目标点云特征的准 确性进行监督； 所述二维监督结构用于对图像特征提取结构所提取的样本像素特征的准确 性进行监督； 所述点云特征提取结构用于提取所述样本点云的样本点云特征； 所述图像特 征提取结构用于提取 所述样本图像 像素的样本像素 特征。 8.根据权利要求7所述的方法， 其特征在于， 所述根据所述样本目标点云特征与所述点 云特征标签间的差异， 对三 维检测模型进 行训练， 直到达到训练停止条件时停止， 得到训练 好的三维检测模型， 包括： 根据所述样本目标点云特征与所述点云特征标签间的差异， 确定所述三维监督结构对 应的第一损失函数； 根据所述样本像素特征和像素特征标签间的差异， 确定所述二维监督结构对应的第 二 损失函数； 将所述第一损失函数和所述第二损失函数进行 联合， 得到联合损失函数； 通过所述联合损失函数， 并基于反向传播算法对所述三维检测模型中的模型参数进行 更新， 直到 达到训练停止条件时停止， 得到训练好的三维检测模型。 9.一种三维检测模型的训练装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取样本行车区域图像、 样本深度点云图像和所述样本深度点云 图像中的样本点云所对应的点云特 征标签； 特征识别模块， 用于确定所述样本深度点云图像中的样本点云所对应的样本点云特权　利　要　求　书 2/3 页 3 CN 114863201 A 3