(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211033470.9 (22)申请日 2022.08.26 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙正 街174号 (72)发明人 王博思　孙棣华　赵敏　 (74)专利代理 机构 北京汇泽知识产权代理有限 公司 11228 专利代理师 张瑾 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多层局部采样和三维视锥点云的跨模 态车辆检测方法 (57)摘要 本发明公开了一种基于多层局部采样和三 维视锥点云的跨模态车辆检测方法， 包括： 步骤 1： 获取点云数据； 步骤2： 通过下采样， 从点云数 据中确定第一采样点， 记为候选点； 步骤3： 以候 选点为中心， 采用具有抽象特征约束的KNN算法 确定K个最邻近点， 每个候选点和对应的K个最邻 近点组成的集合记为一个局部区域， 对每个局部 区域采用PointNet进行特征提取生成一个特征 向量， 则每个局部区域对应一个候选点和一个特 征向量； 步骤4： 判断采样点数量是否不再减少， 若否， 执行步骤5， 若是， 执行步骤7； 步骤5： 通过 下采样， 从候选点中确定第二采样点； 步骤6： 将 第二采样点作为候选点， 重复执行步骤3和4； 步 骤7： 确定 每个点云的局部特 征。 权利要求书1页 说明书6页 附图5页 CN 115457257 A 2022.12.09 CN 115457257 A 1.一种基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 其特 征在于， 包括： 步骤1： 获取待检测区域中视锥候选区域的点云数据， 所述 点云数据的数量记为 N； 步骤2： 通过下采样方法， 从所述点云数据中确定N1个第一采样点， 将第一采样点记为 候选点； 步骤3： 以所述每个候选点为中心， 采用 具有抽象特征约束的KNN算法确定K个最邻近 点， 每个候选点和对应的K个最邻近点组成的集合记为一个局部区域， 对每个局部区域采用 PointNet进行特征提取生成一个特征向量， 则每个局部区域对应一个候选点和一个特征向 量； 步骤4： 判断采样点数量是否不再减少， 若否， 执 行步骤5， 若是， 执 行步骤7； 步骤5： 通过 下采样方法， 从所述 候选点中确定N2个第二采样点； 步骤6： 将第二采样点作为 候选点， 重复执 行步骤3和4； 步骤7： 确定所述 点云数据中的每 个点云的局部特 征。 2.根据权利要求1所述的基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 其特征在于， 所述下采样方法为 最远点采样。 3.根据权利要求1所述的基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 其特征在于， 所述采用具有抽象特征约束的KNN算法确定K个最邻近点包括 获取与候选点的 三维空间距离和特 征空间距离都最接 近的K个点。 4.根据权利要求1所述的基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 其特征在于， 获取视锥候选区域的点云数据包括： 获取待检测区域的多模态数据， 其中， 所述多模态数据包含RGB图像数据、 双目视觉点 云数据和激光雷达点云数据； 根据所述RGB图像数据， 利用图像检测网络提取图像特征， 并利用区域候选网络， 生成 二维候选区域； 利用所述双目视 觉点云数据和所述 二维候选区域， 生成所述视锥候选区域； 从所述双目视 觉点云数据和所述雷达点云数据中获取 所述视锥候选区域的点云数据。 5.根据权利要求4所述的基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 其特征在于， 所述图像 检测网络包括Faster ‑CNN。 6.根据权利要求4所述的基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 其特征在于， 还 包括： 将所述图像特 征和所述每 个点云的局部特 征进行融合， 生成三维检测框； 利用所述 三维检测框对待检测区域进行 车辆检测。 7.根据权利要求6所述的基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 其特征在于， 所述将所述图像特 征和所述每 个点云的局部特 征进行融合的损失函数为： 其中， N为输入融合点云的数量， 表示真实框角量位置与第i个输入融合点云后获 取的预测框角量位置之间的偏移量， 表示预测的真实框与锚点框之间的偏移量， Lscore 表示函数损失分数， Lstn表示空间变换正则化损失。权　利　要　求　书 1/1 页 2 CN 115457257 A 2基于多层局部采 样和三维视锥点 云的跨模 态车辆检测方 法 技术领域 [0001]本发明属于自动驾驶领域， 具体的， 涉及一种基于多层局部采样和三维视锥点云 的跨模态车辆检测方法。 背景技术 [0002]随着汽车自动化级别的提高， 传统的先获取单一传感器数据再合并多传感器数据 的方法已经无法满足检测需求， 跨模态数据融合解决方法应运而生。 所谓模态， 就是指数据 的形式。 视觉信息与点云作为两种不同模态的数据， 尽管其存在形式不同， 但都是为了实现 自动驾驶目标检测精确性的不断提高。 新兴的跨模态数据融合不仅可以结合不同模态的传 感器数据， 还可以依托神经网络和深度学习等技术结合不同模态的3D点云数据， 为目标检 测领域带来创新 性的革新。 [0003]在实际应用中， 基于不 同模态传感器融合层级的差异， 当前自动驾驶跨模态数据 融合算法可以分为三类： 数据级融合、 特征级融合和决策级融合。 数据级融合是一种底层的 融合方式， 可以在极大丰富检测目标的数据信息， 以不同模态传感器数据信息互相补偿组 合的优势弥补了单一模态数据信息不 足的缺陷。 特征级融合首先对不同模态的传感器数据 分别进行特征提取， 然后再将提取到的特征融合， 最后根据融合后的输出得到检测结果。 许 多基于深度学习的融合方法也是对神经网络从不同传感器中提取出的特征间进行级联或 加权操作， 比如 AVOD、 MV3D、 RoarNet、 PointFusion和F ‑PointNet等都是采取这种方法。 决策 级融合算法将采集的信息进行特征提取并输出决策信息可以由单个传感器独立操作， 接着 再融合所有决策信息， 最后分析融合结果以做出最终的决策。 [0004]针对点云的无序， 无结构等问题， PointNet开创了一种直接对点云进行深度学习 以提取特征的处理方案。 PointNet整个网络分为分类网络与 分割网络。 尽管PointNet 网络 简单高效， 但是从其网络结构中不难发现， PointNet利用MLP将每一个点从低维映射到高 维， 之后再将所有映射后的点的特征通过最大值池化结合在一起进行提取， 即整个过程始 终是对单个点或者所有点进行处理。 因此其不能较好地对物体精细的局部特征进行提取， 从而影响目标分割的性能。 [0005]因此， 需要提出一种精确的特 征提取方法来对点云的局部特 征进行提取。 发明内容 [0006]有鉴于此， 本发明的目的是提供一种基于多层局部采样和三维视锥点云的跨模态 车辆检测方法。 [0007]本发明的目的是通过以下技 术方案实现的： [0008]本发明提供了一种基于多层局部采样和三维视锥点云的跨模态车辆检测方法， 包 括： [0009]步骤1： 获取视锥候选区域的点云数据， 所述 点云数据的数量记为 N； [0010]步骤2： 通过下采样方法， 从所述点云数据中确定N1个第一采样点， 将第一采样点说　明　书 1/6 页 3 CN 115457257 A 3