(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210390074.5 (22)申请日 2022.04.14 (71)申请人 苏州轻棹科技有限公司 地址 215100 江苏省苏州市相城区高铁新 城青龙港路66号领寓商务广场1幢21 层2101-2108室 (72)发明人 张永昌　何哲琪　张雨　邱忠营　 赵富旺　 (74)专利代理 机构 北京慧诚智道知识产权代理 事务所 (特殊普通合伙) 11539 专利代理师 戴燕 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/22(2022.01) G06N 3/04(2006.01) (54)发明名称 一种车道线的处 理方法和系统 (57)摘要 本发明实施例涉及一种车道线的处理方法 和系统， 所述方法包括： 接收第一图像； 基于 特征 提取主干网络， 对第一图像进行三级特征提取处 理得到对应的一级、 二级特征图像； 基于关键点 检测网络， 根据一级、 二级特征图像进行车道线 起始点检测处理得到对应的第二图像； 基于车道 线识别网络， 对第二图像中以各个第一起始点为 起始位置的车道线进行识别处理得到对应的第 一车道线像素点序列； 根据各个第一车道线像素 点序列在第二图像上进行车道线标记。 通过本发 明， 可以降低车道线的识别计算量， 达到提高识 别效率的目的。 权利要求书3页 说明书14页 附图3页 CN 114898310 A 2022.08.12 CN 114898310 A 1.一种车道线的处 理方法， 其特 征在于， 所述方法包括： 接收第一图像； 基于特征提取主干网络对所述第 一图像进行三级特征提取处理得到对应的一级、 二级 特征图像； 基于关键点检测网络根据所述一级、 二级特征图像进行车道线起始点检测处理得到对 应的第二图像； 所述第二图像包括多个第一 起始点； 基于车道线识别网络对所述第二图像中以各个所述第一起始点为起始位置的车道线 进行识别处 理得到对应的第一车道线像素点序列； 根据各个所述第一车道线像素点序列在所述第二图像上进行 车道线标记。 2.根据权利要求1所述的车道线的处 理方法， 其特 征在于， 所述特征提取主干网络的网络结构为特征金字塔网络结构， 由自底而上的下采样残差 网络侧和自顶而 下的上采样特征提取网络侧构成； 所述下采样残差网络侧自底而 上包括第 一、 第二和第三级采样网络层； 所述上采样特征提取网络侧自顶而 下包括第三、 第二和第一 级特征提取层； 所述第一、 第二和第三级采样网络层顺次连接； 所述第三、 第二和第一级特 征提取层顺次连接； 所述第一级采样网络层还与所述第一级特征提取层连接； 所述第二级 采样网络层 还与所述第二级特征提取层连接； 所述第三级采样网络层 还与所述第三级 特征 提取层连接 。 3.根据权利要求2所述的车道线的处理方法， 其特征在于， 所述基于特征提取主干网络 对所述第一图像进行三级特 征提取处 理得到对应的一级、 二级特 征图像， 具体包括： 将所述第一图像输入所述特 征提取主干网络； 并由所述特征提取主干网络的所述第 一级采样网络层， 按指定特征维度对所述第 一图 像进行降采样特征维度拓展生成对应的一级采样图像； 并由所述第二级采样网络层， 对所 述一级采样图像进行降采样残差运算生成对应的二级采样图像； 并由所述第三级采样网络 层， 对所述 二级采样图像进行降采样残差运 算生成对应的三级采样图像； 并由所述第 三级特征提取层， 对所述三级采样图像进行特征提取处理生成对应的三级 特征图像； 并由所述第二级特征提取层， 对所述三级 特征图像进 行上采样， 并对 上采样图像 与所述二级采样图像进行图像融合， 并对融合图像进 行特征提取 处理生成对应的所述二级 特征图像； 并由所述第一级 特征提取层， 对所述二级 特征图像进 行上采样， 并对 上采样图像 与所述一级采样图像进行图像融合， 并对融合图像进 行特征提取 处理生成对应的所述一级 特征图像； 并将所述 一级、 二级特 征图像输出。 4.根据权利要求1所述的车道线的处 理方法， 其特 征在于， 所述关键点检测网络由顺次连接的第一卷积网络模块、 第二卷积网络模块、 关键点识 别模块和图像融合模块组成； 所述第一卷积网络模块的卷积核 大小为3、 步长为 1、 填充为 1； 所述第二卷积网络模块的卷积核大小为3、 步长为1、 填充为1； 所述第二卷积网络模块的输 出图像为热力图像， 其输出图像特 征维度为1。 5.根据权利要求4所述的车道线的处理方法， 其特征在于， 所述基于关键点检测网络根 据所述一级、 二级特 征图像进行 车道线起始点检测处 理得到对应的第二图像， 具体包括： 将所述一级、 二级特 征图像输入所述关键点检测网络； 并由所述关键点检测网络的所述第 一卷积网络模块， 对所述二级特征图像进行卷积运权　利　要　求　书 1/3 页 2 CN 114898310 A 2算生成对应的第一卷积图像； 并由所述第 二卷积网络模块， 对所述第 一卷积图像进行卷积运算生成对应的第 一热力 图； 并由所述关键点识别模块， 对所述第一热力图进行关键点识别得到多个第一关键点； 并由所述图像 融合模块， 按所述一级特征图像的尺寸对所述第 一热力图进行图像放大 生成对应的第二热力图； 并在放大后的所述第二热力图上， 将与放大前各个所述第一关键 点匹配的像素点作为对应的第二关键点； 并在所述一级特征图像上， 将各个所述第二关键 点对应的像素点记为所述第一起始 点， 并将各个所述第一起始 点的像素值设为预设的起始 点像素值； 并将修改后的所述 一级特征图像作为对应的所述第二图像输出。 6.根据权利要求1所述的车道线的处 理方法， 其特 征在于， 所述车道线识别网络包括车道线提案模块、 第一多层感知网络模块、 第二多层感知网 络模块和车道线输出模块组成； 所述车道线提案模块分别与所述第一、 第二多层感知网络 模块连接； 所述第一、 第二多层感知网络模块分别与所述车道线输出模块连接； 所述第一多层感知网络模块由第一输入层、 第一全连接层、 第二全连接层和第一输出 层构成； 所述第一输入层 包括h*w个神经元； 所述第二全连接层 包括2个神经元； 所述第一输 出层的分类函数为softmax函数； 所述第一输出层输出一对正、 负类分数； 所述正、 负 类分数 的取值互斥； h为所述第二图像纵向像素点总数， w 为所述第二图像的像素点特 征维度； 所述第二多层感知网络模块由第 二输入层、 第 三全连接层、 第四全连接层构成； 所述第 二输入层包括h *w个神经 元； 所述第二全连接层包括1+h个神经 元。 7.根据权利要求6所述的车道线的处理方法， 其特征在于， 所述基于车道线识别网络对 所述第二图像中以各个所述第一起始点为起始位置的车道线进行识别处理得到对应的第 一车道线像素点序列， 具体包括： 将所述第二图像输入所述车道线识别网络； 并由所述车道线识别网络的所述车道线提案模块， 在所述第 二图像上以各个所述第 一 起始点为圆心、 以h为半径做0 ‑180°的半圆记为对应的第一半圆； 并按指定的射线角度规 则， 从各个所述第一起始点到对应所述第一半圆的圆弧做射线从而得到多条第一射线； 并 提取各个所述第一射线途经像素点的w维像素点特征构成对应的第一射线向量； 其中， 所述 第一射线向量由h个第一射线点向量顺次拼接而成， 所述第一射线点向量的特征维度为w， 第1个所述第一射线点向量由对应的所述第一起始 点的w维像素点特征组成， 射线点坐标超 出所述第二图像边界的所述第一 射线点向量 为统一的w维预设特 征向量； 并由所述第 一多层感知网络模块， 对各个所述第 一起始点对应的所有所述第 一射线向 量分别进行 车道线置信度评分， 生成对应的正、 负类分数； 并由所述第 二多层感知网络模块， 对各个所述第 一起始点对应的所有所述第 一射线向 量分别进行有效车道线长度和像素点偏移估计， 生成对应的第一有效长度L和第一偏移序 列； 其中， 所述第一偏移序列包括多个第一偏移 距离△si， 1≤i≤h； 并由所述车道线输出模块， 从与各个所述第一起始点对应的所有所述第一射线中， 选 择所述正类分数为预设正类分数最大值的所述第一射线作为第一匹配射线； 并根据所述第 一匹配射线对应的所述第一有效长度L对其进行射线长度剪裁生成对应的第二匹配射线； 并根据所述第一匹配射线对应的各个所述第一偏移距离 △si， 对所述第二匹配射线上对应权　利　要　求　书 2/3 页 3 CN 114898310 A 3