(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221040193 6.X (22)申请日 2022.04.18 (65)同一申请的已公布的文献号 申请公布号 CN 114511841 A (43)申请公布日 2022.05.17 (73)专利权人 深圳宇通智联科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室(入驻深圳市 前海商务秘书 有限公司) (72)发明人 朱勇　赵明来　李鸿岳　赵彩智　 吴毅　 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01) G06V 10/75(2022.01)G06K 9/62(2022.01) G06T 3/00(2006.01) (56)对比文件 US 2016021288 A1,2016.01.21 CN 111845723 A,2020.10.3 0 审查员 谭岳峰 (54)发明名称 一种多传感器融合的空 闲车位检测方法 (57)摘要 本发明涉及高级辅助驾驶技术领域， 尤其为 一种多传感器融合的空闲车位检测方法， 其方法 包括如下步骤： A、 首先利用超声波雷达探测距离 信息， 提取空闲车位的初始位置； B、 然后获取鱼 眼相机图像， 完成slam建图和车位线识别功能； C、 经过多传感器融合算法提取最终的空闲车位 位置。 D、 将识别的空闲车位显示到中控屏幕上。 本发明通过多传感器的融合方法， 提高了车位线 末尾两个点的坐标估计的准确性和鲁棒性， 能同 时适应室内车库、 室外停车场、 无车位线或车位 线不清晰车位等多种场景， 从而提升用户的体验 感和满意度， 具有更广阔的商业价值， 可广泛应 用于半自动泊车和自主泊车系统中。 权利要求书3页 说明书7页 附图4页 CN 114511841 B 2022.07.05 CN 114511841 B 1.一种多传感器融合的空闲车位检测方法， 包括以下步骤： A、 首先利用超声波雷达探 测距离信息， 提取 空闲车位的初始位置； B、 获取鱼眼相机图像， 完成slam建图和车位线识别 功能； C、 经过多传感器融合算法提取最终的空闲车位位置； D、 将识别的空闲车位显示到中 控屏幕上； 其特 征在于： 所述步骤A包括以下步骤： A1、 车辆平行于停车位向前 行驶， 利用侧身超声 波雷达探测障碍物的距离； A2、 将上述步骤A1中的障碍物距离分为75 ‑85个等间隔区间 ， 并保存在一个数组array 中； A3、 统计上述步骤A2中数组array的障碍物距离值大于等于5m的连续区间， 获取连续区 间的最大长度maxLen； A4、 根据上述步骤A3中连续区间 的最大长度maxLen， 判断是否为空闲车位， 如果maxLen 的数值大于2m， 则maxLen对应的区间为空 闲车位的初始位置 ； 所述步骤B包括以下步骤： B1、 如果步骤A中空 闲车位初始位置获取失败， 则不进行 下一步， 继续执 行步骤A； B2、 如果步骤A中成功获取空 闲车位初始位置， 则执 行以下步骤B3； B3、 获取鱼眼相机图像， 进行相机标定和畸变矫 正， 得到畸变矫 正图像； B4、 利用上述步骤B3中的相机标定参数先将上述步骤B3中的畸变矫正图像进行俯视变 换， 获得鸟瞰图像， 然后在鸟瞰图中的上述步骤A4的空闲车位初始位置 进行车位 线识别， 获得空 闲车位； B5、 利用上述步骤B3中连续的畸变矫正图像帧开始利用slam技术建立局部建图得到车 身周围的局部地图； 所述步骤C包括以下步骤： C1、 将上述步骤B4中提取的空闲车位坐标点投影到上述步骤B5中的局部地 图， 获得投 影点坐标； C2、 利用步骤C1 获得的投影点 坐标， 计算上述 步骤B5的局部地图的空 闲车位； C3、 利用MLP多层感知机网络学习上述步骤B5中空闲车位坐标和步骤C2中空闲车位坐 标的融合 参数； C4、 利用步骤C3的融合参数对上述步骤B5中空闲车位坐标和步骤C2中空闲车位坐标进 行融合； C5、 获取融合后的空 闲车位坐标。 2.根据权利要求1所述的一种 多传感器融合的空闲车位检测方法， 其特征在于： 所述步 骤B3中， 鱼眼图像分辨率为1280*720， 在进行畸变矫正的过程中， 先对相机进行标定， 获得 相机内参K、 径向畸变系数k1、 k2、 k3、 外参 R， 然后利用畸变矫正公 式对鱼眼图像进行畸变矫 正， 畸变矫 正公式如下 所示： 权　利　要　求　书 1/3 页 2 CN 114511841 B 2其中， 是畸变点在相机sensor上的原始位置， 是畸变矫正 后新的位置， 是离相机sensor中心点的半径。 3.根据权利要求1所述的一种 多传感器融合的空闲车位检测方法， 其特征在于： 所述步 骤B4中， 获得鸟瞰图后， 即可进行 车位线识别， 具体步骤如下： 01、 采集车位 点样本， 利用yo lov3训练； 02、 利用训练好的yolov3模型检测俯视图上的车位点， 并将一对车位点 （bpt1， bpt2） 用 直线连接， 作为车位的入口； 03、 以右侧车位为例， 向量 绕bpt1逆时针旋 转， 并按车位长度， 估计出车位点 bpt3， 同理估计出 车位点bpt4； 04、 连接bpt1、 bpt 2、 bpt3、 bpt4， 得到车位线。 4.根据权利要求3所述的一种 多传感器融合的空闲车位检测方法， 其特征在于： 所述步 骤B5中， 局部建图的具体步骤如下： B5.1、 得到车位线的同时， 提取Har ris角点， 进行视 觉跟踪； B5.2、 采用松耦合方式得到初始值， 再用上述步骤B5.1的特征点匹配， 进行三角化， 求 出滑动窗口内所有帧的位姿以及路标点逆深度， 接着与IMU 预积分对齐， 恢复出对齐尺度s、 重力g、 imu速度v和陀螺 仪偏置bg这些参数； B5.3、 构建IMU约束和视觉约束的约束方程， 利用紧耦合技术进行后端非线性优化， 获 得最优的局部地图； B5.4、 在局部地图中， 寻找最优空 闲车位。 5.根据权利要求4所述的一种 多传感器融合的空闲车位检测方法， 其特征在于： 所述步 骤C1中， 将上述步骤B4中的两个入口点坐标bpt1、 bpt2和两个末尾点坐标bpt3、 bpt4分别投 影到上述 步骤B5的局部地图中， 得到bspt1、 bspt 2、 bspt3和bspt4四个点； 所述步骤C2中， 在上述步骤B5的局部地图中以步骤C1的入口点投影坐标bspt1、 bspt2， 按照车位长度lenth估计两个末尾点 坐标spt3、 spt4， 计算公式为： spt3=bspt1+lenth； spt4=bspt 2+lenth； 从而推导出 上述步骤B5的局部地图中的空 闲车位 （bspt1， bspt 2， spt3， spt4） ； 所述步骤C3中， 在利用MLP多层感知机网络学习上述步骤B5中空闲车位坐标和步骤C2 中空闲车位坐标的融合参数时， 需要事 先标注大量的真实空闲车位坐标数据， 用GT表示， 然 后采用误差平方和损失函数E进行训练， 公式为： 其中， w为感知机权重， 即融合参数， a为上述步骤B5中空闲车位坐标， b为步骤C2中空闲 车位坐标； 所述步骤C4中， 利用步骤C3的融合参数w， 对上述步骤B5中空闲车位末尾两个坐标点和 步骤C2中空 闲车位末尾两个坐标点进行融合， 公式为；权　利　要　求　书 2/3 页 3 CN 114511841 B 3