(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210906765.6 (22)申请日 2022.07.29 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 欧县华　董翔宇　游仲南　吴鸿志　 陈强　何熊熊　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 冷红梅 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/36(2022.01) G06V 10/44(2022.01)G06V 10/80(2022.01) (54)发明名称 一种面向动态场景的轻量级视觉语义里程 计方法 (57)摘要 一种面向动态环境的轻量级视觉语义里程 计方法， 首先， 采集RGB图像和Dep th图像， 分别发 送给ORB特征提取线程、 语义分割线程和深度轮 廓检测线程； 其次， 通过静态和动态先验目标， 并 且等待深度轮廓掩膜的边界扩展结果； 同时， 基 于深度图像的深度梯度， 确定目标的大致形状， 并且绘制深度掩膜， 然后基于形态学处理对深度 掩膜进行膨胀， 以扩展由于相机精度造成的掩膜 边界模糊， 并和动态目标的语义分割结果进行像 素级的图像边缘融合， 获得修正后的掩膜； 然后， 基于修正后掩膜的动态目标的灰度区域剔除动 态掩膜内的特征点， 并利用余下的静态特征点结 合语义标签构建语义点云地图。 本发 明提高语义 SLAM的实时性和语义特 征提取的效率。 权利要求书3页 说明书7页 附图2页 CN 115273080 A 2022.11.01 CN 115273080 A 1.一种面向动态环境的轻量级视觉语义里程计方法， 其特征在于， 所述方法包括以下 步骤： 步骤(1)， 通过RGB ‑D相机采集RGB图像和Depth图像， 并将RGB图像分别发送给ORB特征 提取线程和语义分割线程， 将Depth图像帧发送给深度轮廓检测线程； 步骤(2)， ORB特征提取线程根据发送过来的RGB图像帧提取每帧图像 的ORB特征， 并根 据极线约束检测动态特 征点， 然后等待语义分割线程的动态目标分割结果； 步骤(3)， 语义分割线程首先利用轻量化语义分割网络分割传送过来的每帧RGB图像， 获取分割后的图像掩膜， 并且等待深度轮廓检测线程的深度掩膜结果； 步骤(4)， 深度轮廓检测线程通过遍历每个像素的深度值获取深度梯度， 从而确定相近 深度的目标， 并且生成深度掩膜， 然后基于形态学 处理对深度掩膜进 行膨胀， 以扩展由于相 机精度造成的掩膜边界模糊， 并发送给图像边界融合模块； 步骤(5)， 图像边界融合模块接收到轻量化语义分割网络的场景分割结果和深度轮廓 扩展后的深度掩膜， 基于加权平均法融合掩膜， 实现动态掩膜修 正； 步骤(6)， 利用步骤(5)修正后的掩膜和步骤(2)初步筛选出的动态特征点确定最终的 动态特征点并剔除， 将剩余的静态特 征点输入视 觉里程计模块构建语义 点云地图。 2.根据权利要求1所述的面向动态环境的轻量级视觉语义里程计方法， 其特征在于： 实 现所述方法的面向动态环境的轻量级视觉语义里程计包括跟踪模块、 视觉里程计模块和语 义建图模块， 所述 步骤(1)的过程如下： 跟踪模块分为三个子线程： ORB特征提取线程、 语义分割线程、 深度轮廓检测线程， 且三 个线程并行运行； 其中， RGB图像帧分别发送给ORB特征提取线程和语义分割线程， Depth图 像帧发送给深度轮廓检测线程。 3.根据权利要求1或2所述的面向动态环境的轻量级视觉语义里程计量方法， 其特征在 于： 所述步骤(2)的过程如下： 基于RGB图像帧检测动态特征点， 匹配当前图像帧Ic和前一帧Ip中提取的特征点， 并且 通过随机采样一致性算法和列文伯格 ‑马夸尔特算法求解两帧图像间的单应矩阵H， 假设像 素点集Ppn是Ip上的点， 其表达式为： Ppn＝[upn vpn 1]T,n＝1,2,3,4,5, ……,k    (1) 其中， Ppn为前一帧图像Ip 上的点集的坐标， upn和vpn为点的横坐标和纵坐标， n为点的序 号， k为正整数， 对应的Ic上的点 集的坐标为Pcn＝[ucn vcn 1]T,n＝1,2,3,4,5, ……,k  (2) 其中， Pcn为当前帧图像Ic上的点集的坐标， ucn和vcn为点的横坐标和纵坐标， n为点的序 号； 通过单应矩阵H求得 Pcn＝HPPn,n＝1,2,3,4,5, ……,k    (3) 至此， 通过求 解最小二乘问题得到前一帧图像Ip和当前帧图像Ic之间的相机位姿： 其中， Ppi和Pci分别对应Ppn和Pcn上序号为i的点， R和t分别表示两帧图像间的旋转矩阵 和平移向量， N 为正整数； 为了获取动态特征点， 首先， 需要从Ip和Ic中提取匹配点， 并且通过RANSAC算法计算两权　利　要　求　书 1/3 页 2 CN 115273080 A 2帧图像之间的基础矩阵F； 然后， 使用基础矩阵F计算当前帧中的极线； 因此， 分别选取点集 Ppn和Pcn上的一个像素点Pp1＝[up1 vp1 1]T和Pc1＝[uc1 vc1 1]T， 且Pp1∈Ppn， Pc1∈Pcn， 计算极 线lp1： 其中， X， Y， Z代表内联矩阵， 即点P的横坐标、 纵坐标以及 竖坐标， F为基础矩阵； 之后， 我 们计算特 征点到相应极线的距离： 其中， d表示特 征点到相应极线的距离， 依次遍历当前帧与前一帧中的点集， 当d大于我们设置的阈值ε， 则为动态特征点， 并且 存入动态点 集中， 等待语义分割的掩膜。 4.根据权利要求1或2所述的面向动态环境的轻量级视觉语义里程计量方法， 其特征在 于： 所述步骤(3)的过程如下： 语义分割线程收到发送过来的RGB图像帧， 将其传入语义分割网络进行语义特征的提 取； 本方法为了提高语义信息获取的效率， 引入轻量化语义分割网络TopFormer提取语义特 征， 并且将训练好的模型转 化为ONNX模型， 基于ON NXRunTime ‑GPU版本利用CUDA加速推理； 引入的轻量化语义分割网络TopFormer为一种基于TransFormer的轻量化语义分割网 络， 其微型版本可以在基于ARM的移动设备上产生具有竞争力的实时推理结果； 使用AD E20K 数据集训练模型， 该数据集提供了150个分类类别， 可充分应对室内场景分割任务， 并且针 对室内动态场景， 本方法将常见的室内物体分为静态物体、 动态物体以及可移动物体， 其 中， 静态物体有床、 桌子、 电视等， 动态物体为人等， 可移动物体为椅子、 书、 花瓶等； 本方法 将输入的RGB图像尺 寸变换为512 ×512×3输入到语义分割网络， 输出相同尺 寸的彩色掩膜 和灰度图像， 并且检测动态先验目标的灰度值， 根据其灰度值判断当前帧中是否有动态目 标， 如果有动态目标， 则将是否有动态目标的标志位进为1。 5.根据权利要求1或2所述的面向动态环境的轻量级视觉语义里程计量方法， 其特征在 于： 所述步骤(4)的过程如下： 深度轮廓 检测线程接收到发送过来的Depth图像帧， 进行深度掩膜的创建工作； 分为粗 遍历和精遍历两部 分； 首先进行粗遍历， 使用30 ×30的滑块， 步幅为30遍历Depth图像， 记录 滑块中的深度值： D＝d(x:x+2 9,y:y+29)    (7) 其中， D表示对应 像素的深度值， x和y分别表示对应 像素的横坐标和纵坐标； 对于边界的像素点， 滑块可以随边界像素块的大小改变， 如图4所示， 即 其中， n为滑块的长度， m为滑块的宽度； 遍历完一张深度图像后， 将连续相近的深度梯度范围内的深度图像归为 一类： Obj(n),n ＝1,2,3,4, ……,k    (9) 其中， Obj(n)表示类别；权　利　要　求　书 2/3 页 3 CN 115273080 A 3