(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008250.0 (22)申请日 2022.08.22 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市栖霞区文苑路9 号 (72)发明人 徐小龙　徐国庆　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 褚晓英 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种面向自动驾驶系统的三维实时目标检 测方法 (57)摘要 本发明公开了一种面向自动驾驶系统的三 维实时目标检测方法包括： 利用数据增强策略对 点云数据进行预处理， 将点云数据体素化； 利用 三维稀疏卷积网络获取多倍下采样特征， 将八倍 下采样的体素特征转换成二维鸟瞰图特征， 通过 基于锚点的方法生成提案框； 利用三层渐进下采 样方案采样出少量前景点作为关键点； 对特征和 关键点进行体素集合抽象操作以获取最终关键 点特征； 调整关键点权重， 赋予前景点更高权重； 将提案框和带特征的关键点作为输入以完善提 议框并获取置信度预测。 本发明使用融合点和体 素检测方法， 实现高检测精度和相对高的检测速 度； 利用三层渐进下采样采集更少关键点的同时 保证前景点数量； 调整权重以提升前景点作用， 提高小物体 检测精度。 权利要求书2页 说明书10页 附图4页 CN 115424225 A 2022.12.02 CN 115424225 A 1.一种面向 自动驾驶系统的三维 实时目标检测方法， 其特 征在于， 包括： 利用数据增强策略对点云数据进行 预处理， 将点云数据体素化； 利用三维稀疏卷积网络获取多倍下采样特征， 将八倍下采样的体素特征转换成二维鸟 瞰图特征， 并通过基于锚点的方法生成提案 框； 利用三层渐进下采样方案采样出少量前 景点作为关键点； 对所述特 征和关键点进行体素集 合抽象操作以获取最终关键点特 征； 调整所述关键点权 重， 赋予前 景点更高权 重； 将所述提案框和带特征的关键点作为输入以完 善提案框并获取置信度预测。 2.如权利要求1所述的一种面向自动驾驶系统 的三维实时目标检测方法， 其特征在于： 所述数据增强策略， 包括： 场景级增强策略和对象级增强策略， 包含将场景绕z轴旋转， 随机值为 对场 景进行随机缩放， 随机因子为[0.95,1.0 5]。 3.如权利要求1或2所述的一种面向自动驾驶系统的三维实时目标检测方法， 其特征在 于： 所述将点云数据体素化， 包括： 将超过设定边框的点移除， 并且将点进行初步的体素化操作， 每个体素的长宽高分别 是[0.05,0.05,0.1]； 每个点云的特征维度是4； 每个体素中最大的采样点数为5； 训练和推 理时分别最大选取16 000， 40000个非空体素。 4.如权利要求3所述的一种面向自动驾驶系统 的三维实时目标检测方法， 其特征在于： 所述利用三维稀疏 卷积网络获取多倍下采样特 征， 包括： 所使用的主干网络为子流形稀疏卷积和空间稀疏卷积组成的稀疏卷积网络， 将经体素 化处理后获得的体素进行1 ×2×4×8×下采样， 并保存 采样结果。 5.如权利要求4所述的一种面向自动驾驶系统 的三维实时目标检测方法， 其特征在于： 所述三层渐进 下采样方案， 包括： 前两层使用D ‑FPS采样策略即： 距离最远采样策略， 最后一 层使用实例感知采样策略； 同时在编码层增加两个多层感知机MLP层用于进一步估计每个 点的语义类别， 进 而使用实例感知采样策略进行采样。 6.如权利要求5所述的一种面向自动驾驶系统 的三维实时目标检测方法， 其特征在于： 还包括： 提出一种中心感知下采样策略， 计算提案框中点的权值Mask， 并基于权值Mask和普 通的交叉熵损失设置损失函数； 权值Mask的计算公式为： 其中， f*， b*， l*， r*， u*， d*表示 一个点到包围盒的六个面的距离， Maski为点i的权值； 损失函数表示 为： 其中， C为类别数量， si为点i的一位有效编码， 表示对点i的预测的概率， Maski表示点i 的权值。 7.如权利要求6所述的一种面向自动驾驶系统 的三维实时目标检测方法， 其特征在于：权　利　要　求　书 1/2 页 2 CN 115424225 A 2所述进行体素集 合抽象操作以获取最终关键点特 征， 包括： 在三维体素下采样三维体素下采样模块中得到1x， 2x， 4x， 8x的体素特征， 体素集合抽 象在这4个尺度上进行集 合抽象操作， 获取4个尺度的体素编码特 征； 体素集合抽象操作具体的公式表述 为： 其中， 表示关键点pi第k层对应的体素特征集； 为经过三 维卷积的第k层的体素特征的集合； 为体素在第k层中的三维坐 标， Nk为第k层中非空体素数量； 为每个体素特征在对应半径内关键点的相对位 置信息； fi(pv)＝fi(pv1)+fi(pv2)+fi(pv3)+fi(pv4) 其中， fi(pv)指的是体素下采样综合出的特征， fi(pv1)指的是体素下采样1x的特征， fi(pv2) 指的是体素下采样2x的特征， fi(pv3)指的是体素下采样4x的特征， fi(pv4)指的是体素下采样 8x的特征； 在体素下采样综合出的特征中加入原始点的集合抽象特征和来自八倍下采样堆叠得 到的鸟瞰图双线插值特 征， 来获取最终关键点特 征； fi(p)＝[fi(pv)+fi(raw)+fi(bev)],for i＝1,...,n. 其中， fi(p)表示最终获得的关键点i特征， fi(pv)表示关键点i通过体素下采样综合出的 特征， fi(raw)表示关键点 i的原始点特征， fi(bev)表示关键点 i的鸟瞰图特 征。 8.如权利要求7所述的一种面向自动驾驶系统 的三维实时目标检测方法， 其特征在于： 所述调整关键点权重， 包括： 对前景点和背景点赋予不同的权值， 权重调整公式为： 其中， A(·)是一个三层的多层感知机， fi(p)表示最终获得的关键点 i特征。 9.如权利要求8所述的一种面向自动驾驶系统 的三维实时目标检测方法， 其特征在于： 所述置信度预测， 表示 为： yk＝min(1， max(0,2I oUk‑0.5)) 其中， IoUk表示为第k个提案框 预测区域与训练集标注区域两个区域的重叠部分占两者 总面积的比例。 10.如权利要求8或9所述的一种面向自动驾驶系统的三维实时目标检测方法， 其特征 在于： 所述 提案框优化， 包括： 使用交叉熵损失函数来进行提案 框优化， 表示 为： 其中， 表示预测出来的分数， yk为计算出的置信度。权　利　要　求　书 2/2 页 3 CN 115424225 A 3