(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210456868.7 (22)申请日 2022.04.28 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市御道街2 9号 (72)发明人 范玲　郝洁　邓海　 (74)专利代理 机构 南京合砺 专利商标代理事务 所(普通合伙) 32518 专利代理师 许云花 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G01S 13/86(2006.01) (54)发明名称 一种基于相机和毫米波雷达数据的自动对 齐方法 (57)摘要 本发明公开了一种基于相机和毫米波雷达 数据的自动对齐方法， 该方法首先通过毫米波雷 达扫描获得点云数据， 通过相机获取视觉图像信 息， 然后基于到DLA ‑34网络结构处理以获得图像 特征图， 进一步的将有效毫米波点云映射到图像 特征图中， 接着设定最大目标数和计算点云特征 向量， 通过attention融合模块进行处理， 得到 数 据对齐后的雷达和图像融合特征图； 最后将图像 融合特征图送入RetinaNet目标检测子网络进行 处理， 获得图像中目标的定位和分类结果， 完成 数据自动对齐。 相比现有技术采用手工设计数据 对齐组件， 本发明降低了模型设计的复杂度， 提 高了目标识别的感知精度。 权利要求书2页 说明书5页 附图1页 CN 114898144 A 2022.08.12 CN 114898144 A 1.一种基于相机和毫米波雷达数据的自动对齐方法， 其特征在于， 所述方法包括如下 步骤： (1)针对同一个视觉场景， 通过毫米波雷达扫描获得毫米波点云数据， 且相机获取视觉 图像信息； (2)对步骤(1)获得的图像信息进行预处理， 基于DLA ‑34网络结构进行处理， 得到图像 特征图； (3)将步骤(1)得到的毫米波雷达点云映射到步骤(2)中的图像特征图中， 得到每个毫 米波雷达点云在图像特 征图中的位置； (4)设定最大目标数， 且根据图像特征图中位置对应的雷达点的属性值， 计算点云特征 向量； (5)将点云特征向量和图像特征图送入attention融合模块进行处理， 得到数据对齐后 的雷达和图像融合特 征图； (6)将图像融合特征图送入Retin aNet目标检测子网络进行处理， 获得图像中目标的定 位和分类结果； (7)对步骤(6)中获得的所有目标识别框进行非极大值抑制处理， 获得最终目标定位框 和每个框的识别结果。 2.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法， 其特征在于， 步 骤(1)考虑到毫米波雷达点云的稀疏性， 应用若干个毫米波雷达点云数据和单个摄像机的 图像数据， 并且融合和当前图像帧时序最近的多帧点云数据。 3.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法， 其特征在于， 步 骤(3)对于毫米波雷达点云映射过程如下： (3.1)根据毫米波雷达点的状态属性 值筛选和过滤掉无效雷达点； (3.2)将有效的雷达点检测得到的横 纵向距离通过投影变换转换到对应的视觉传感器 所在的图像坐标系中转换为图像像素坐标系， 在同一坐标系下实现毫米波 雷达和视觉传感 器在时间和空间的统一， 如果投影到图像像素坐标系上的雷达点存在重合情况， 则采用 “近 留远舍”的规则， 距离 近的覆盖距离远的雷达点； 其中， 坐标转换通过 标定矩阵完成， 标定矩阵公式如下： 其中， [Xw， Yw， Zw， 1]是毫米波雷达点在世界坐标系中的坐标， [Xc， Yc， Zc， 1]是像素坐标 系中的坐标， [u， v]是图像 像素坐标系中的坐标； 图像到DLA ‑34最后一个特征 图间的下采样系数为d， 毫米波雷达点云P(u， v)在特征 图 中的坐标为P ′(u′， v′)， 其中(u ′， v′)＝(u/d， v/d)。 4.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法， 其特征在于， 步 骤(4)设定最大目标 数的步骤如下： 图像的尺寸为h， w， 图像到DLA ‑34最后一个特征图间的下采样系数为d， 该特征图的尺权　利　要　求　书 1/2 页 2 CN 114898144 A 2寸为h′＝h/d， w′＝w/d， 通道数为c1； 特征图最多可检测出w ′个目标物体， 因此最大目标数 可设定为 N＝w′。 5.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法， 其特征在于， 步 骤(4)中点云特征向量的计算步骤包括创建大小为N ×c2的点云特征向量， 然后从每个位置 的雷达点的属性中选择c2个属性值， 作为该点云特征向量u处的初始特征值， 其中： N为最大 目标数， c2为毫米波雷达点云数据属性 值个数。 6.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法， 其特征在于， 步 骤(6)中图像融合特 征图包括如下 过程： (6.1)获取步骤(2)中的图像特征图E∈RL×C1， 步骤(4)中的点云特征向量Qq∈RN×C2， 其中 L为图像特 征图的空间特 征数， 即(h′ ×w′)； (6.2)预测每个点云特征向量对应的目标物体的中心点位置(ch′， cw′)和尺寸大小(sh′， sw′)， 计算过程如下： ch′， cw′＝sigmoid(FC(Qq)) sh′， sw′＝FC(Qq) 并使用预测值生成目标物体的二维高斯分布G(i， j)， 其中， β表示调节高斯分布的带 宽， 表达式如下： (6.3)给定点云特征向量Qq∈RN×c2和图像特征图E∈RL×c1， 计算点云特征向量和图像特 征的共同注意力C的权 重Cweight∈RN×L， 计算过程如下： K＝E Q＝FC(Qq) 点云特征向量由毫米波雷达点初始化， 可以为预测目标物体提供空间先验， 获取步骤 (6.2)的高斯分布权 重G∈RN×L， 修正后的Cweight∈RN×L为： Cweight对图像空间像素特征i和点云特征向量j进行了关系建模和表达， 通过对Cweight执 行行相加和sigmoid操作， 建立所有点云对图像空间某 点像素特征的累积影响， 计算表达式 如下： (6.4)将步骤(6.3)得到的权重矩阵Cweight∈R1×L和图像特征图E∈RL×c1通过下列计算 公 式得到数据对齐后的图像融合特 征图FE∈RL×c1， 计算表达式如下： V＝E 其中， 表示元素级乘每 个通道， 表示元素级相加。权　利　要　求　书 2/2 页 3 CN 114898144 A 3