(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111548086.8 (22)申请日 2021.12.17 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 李德辉　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 代理人 黄晶晶 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 图像处理方法、 装置、 设备、 介质和计算机程 序产品 (57)摘要 本申请涉及一种图像处理方法、 装置、 设备、 介质和计算机程序产品， 属于地图技术领域和车 联网技术领域， 方法包括： 获取包括多个样本车 载图像的图像序列； 将各样本车载图像 分别作为 当前样本车载图像， 将当前样 本车载图像输入至 待训练的深度预测网络， 得到当前样本车载图像 中各像素点的深度信息； 基于深度信息生成当前 样本车载图像的当前三维点云； 从车载位姿传感 器中获取车辆位姿信息； 基于当前三维点云和车 辆位姿信息重构当前样本车载图像的下一相邻 车载图像； 基于相邻样本车载图像与相邻车载图 像之间的差异对深度预测网络训练； 训练完成的 深度预测网络， 用于预测目标车载图像的像素深 度。 采用本方法可降低深度预测网络的训练成 本。 权利要求书3页 说明书19页 附图7页 CN 114119757 A 2022.03.01 CN 114119757 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取图像序列； 所述图像序列中包括多个按顺采集的样本车 载图像； 将所述图像序列中的各样本车载图像分别作为当前样本车载图像， 并将所述当前样本 车载图像输入至待训练的深度预测网络， 预测得到所述当前样本车载图像中各像素点的深 度信息； 基于所述深度信息， 生成所述当前样本车 载图像的当前三维点云； 从车载位姿传感器中， 获取基于所述当前样本车载图像和下一相邻样本车载图像确定 的车辆位姿信息； 基于所述当前三维点云和车辆位姿信 息， 重构所述当前样本车载图像的下一相邻车载 图像； 基于所述相邻样本车载图像与重构的相邻车载图像之间的差异， 对所述深度 预测网络 训练； 训练完成的深度预测网络， 用于预测目标 车载图像的像素深度。 2.根据权利要求1所述的方法， 其特征在于， 所述当前样本车载图像是由车载相机采集 得到； 所述深度信息包括所述当前样本车载图像中各像素点在相 机坐标系 下的深度坐标； 所述基于所述深度信息， 生成所述当前样本车 载图像的当前三维点云， 包括： 获取所述当前样本车载图像中各像素点在相机坐标系下的平面坐标； 所述相机坐标 系， 是以所述车 载相机的光心为原点建立的坐标系； 基于所述各像素点的所述深度坐标和所述平面坐标， 生成所述当前样本车载图像的当 前三维点云。 3.根据权利要求2所述的方法， 其特征在于， 所述获取所述当前样本车载图像中各像素 点在相机坐标系下的平面 坐标， 包括： 确定所述车 载相机的焦点在所述相机坐标系下的焦点 坐标； 确定当前样本车载图像中各像素点在 当前像素坐标系下的当前像素坐标； 所述当前像 素坐标系， 是基于所述当前样本车 载图像建立的像素坐标系； 根据所述焦点坐标和所述各像素点在 当前像素坐标系下的当前像素坐标， 确定所述各 像素点在相机坐标系下的平面 坐标。 4.根据权利要求1所述的方法， 其特征在于， 所述当前样本车载图像是由车载相机采集 得到； 所述基于所述当前三维点云和车辆位姿信息， 重构所述当前样本车载图像的下一相 邻车载图像， 包括： 基于所述当前三维点云和所述车辆位姿信 息， 确定所述相邻样本车载图像的相邻三维 点云； 根据所述相邻三维点云和所述车载相机的内部参数， 重构所述当前样本车载图像的下 一相邻车 载图像。 5.根据权利要求4所述的方法， 其特征在于， 所述车辆位姿信 息包括车辆从当前位置到 下一相邻位置发生的偏移距离和旋转角度； 所述当前位置是采集所述当前样本车载图像时 车辆所处的位置； 所述下一相邻位置是采集下一相邻样本车 载图像时车辆所处的位置； 所述基于所述当前三维点云和所述车辆位姿信 息， 确定所述相邻样本车载图像的相邻 三维点云， 包括： 将所述当前三维点云中的各点按照所述偏移距离和所述旋转角度分别进行调整处理，权　利　要　求　书 1/3 页 2 CN 114119757 A 2得到所述相邻样本车 载图像的相邻三维点云。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述当前三维点云中的各点按照所 述偏移距离和所述旋转角度分别进行调整处理， 得到所述相 邻样本车载图像的相 邻三维点 云， 包括： 基于所述偏移 距离构建偏移 矩阵； 基于所述旋转角度构建旋转矩阵； 将所述当前三维点云中的各点按照所述偏移矩阵进行偏移处理， 以及将所述当前三维 点云中的各点按照所述旋转矩阵进行旋转处理， 得到所述相 邻样本车载图像的相 邻三维点 云。 7.根据权利要求4所述的方法， 其特征在于， 所述内部参数包括所述车载相机的焦点在 相机坐标系下的焦点 坐标； 所述根据 所述相邻三维点云和所述车载相机的内部参数， 重构所述当前样本车载图像 的下一相邻车 载图像， 包括： 基于所述焦点 坐标构建重构矩阵； 基于所述重构矩阵， 将所述相邻三维点云中各点的三维坐标转换为 二维坐标； 基于各点的二维坐标构建所述当前样本车 载图像的下一相邻车 载图像。 8.根据权利要求1所述的方法， 其特征在于， 所述样本车载图像包括样本车载单目图 像； 所述获取图像序列， 包括： 通过车载单目相机采集多个样本车 载单目图像； 按照所述多个样本车载单目图像分别对应的采集时间的先后顺序， 生成所述图像序 列。 9.根据权利要求1至8中任一项所述的方法， 其特 征在于， 所述方法还 包括： 对目标车载图像进行道路元 素检测， 以从所述目标 车载图像中识别出道路元 素； 基于所述训练完成的深度预测网络， 预测所述道路元 素中各像素点的深度信息； 基于所述道路元 素中各像素点的深度信息， 生成所述道路元 素的导航信息。 10.根据权利要求1至8中任一项所述的方法， 其特征在于， 所述目标车载图像是由设置 于当前车辆上的车 载相机采集得到； 所述方法还 包括： 对所述目标车载图像进行车辆检测， 以从所述目标车载图像中识别出前方车辆所对应 的图像区域； 获取所述图像区域中各像素点的深度信息； 所述图像区域中各像素点的深度信息， 是 由所述训练完成的深度预测网络预测得到的； 基于所述图像区域中各像素点的深度信 息， 确定所述当前车辆与所述前方车辆之间的 相对距离； 基于所述相对距离进行碰撞预警。 11.根据权利要求1至8中任一项所述的方法， 其特 征在于， 所述方法还 包括： 对所述目标 车载图像进行道路元 素检测， 以从所述目标 车载图像中识别出道路元 素； 获取所述道路元素中各像素点的深度信息； 所述道路元素中各像素点的深度信息， 是 由所述训练完成的深度预测网络预测得到的； 基于所述道路元 素中各像素点的深度信息， 将所述道路元 素写入车 载导航地图中。 12.一种图像处 理装置， 其特 征在于， 所述装置包括：权　利　要　求　书 2/3 页 3 CN 114119757 A 3