(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210597437.2 (22)申请日 2022.05.30 (71)申请人 东风汽车集团股份有限公司 地址 430056 湖北省武汉市武汉经济技 术 开发区东 风大道特1号 (72)发明人 赵奕铭　余骅骏　郭剑锐　徐欣奕　 王卓　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 专利代理师 黄帅 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/247(2006.01) H04N 5/262(2006.01) (54)发明名称 远程驾驶 监控视频画面调整方法 (57)摘要 本发明公开了一种远程驾驶监控视频画面 调整方法， 该方法包括： 启动远程驾驶模式后， 车 辆正常行驶， OBU只上传前视摄像机采集到的视 频图像数据； 当远程驾驶员准备向右或左进行变 道时， 对应打开车辆右或左转向灯， OBU对应上传 车辆右或左侧侧视摄像机采集到的视频图像数 据； 当车辆到达目的地准备停车时， 配备多个摄 像机采集车辆周围360 °范围内的视频图像数据， 相邻摄像机之间的视角存在重叠区域， 对多个摄 像机的视频图像进行拼接再上传。 本发明在不同 驾驶模式下， 上传不同摄像机采集到的视频数 据， 同时给出了视频拼接的方法， 上传之前进行 摄像机采集视频的重叠区域调整， 提高上传视频 中有效信息的比例， 解决远程驾驶对网络上行带 宽高要求问题。 权利要求书1页 说明书4页 附图3页 CN 115065807 A 2022.09.16 CN 115065807 A 1.一种远程驾驶监控视频画面调整方法， 其特征在于， 远程被控车辆设有车载摄像机 和车载网联终端OB U， 车载摄像机包括前视摄像机、 后视摄像机、 侧视摄像机和环视摄像机； 前视摄像机用于采集远程被控车辆前方交通环境信息并将采集到的视频图像数据发送给 OBU； 侧视摄像机用于采集远程被控车辆侧方交通环境信息并将采集到的视频图像数据发 送给OBU； 后视摄像机用于采集远程被控车辆后方交通环境信息并将采集到的视频图像数 据发送给OBU； 环视摄像机用于车辆泊车时采集车辆近距离360 °范围内的视频数据信息并 将采集到的视频图像数据发送给OB U； 然后OB U对车载摄像机采集到的视频图像数据进 行压 缩上传； 启动远程驾驶模式后， 车辆正常行驶， OBU只上传前视摄 像机采集到的视频图像数据； 当远程驾驶员准备向右进行变道时， 打开车辆右转向灯， OBU上传车辆右侧侧视摄像机 采集到的视频图像数据； 当远程驾驶员准备向左进行变道时， 打开车辆左转向灯， OBU上传 车辆左侧 侧视摄像机采集到的视频图像数据； 当车辆到达目的地准备停车时， 启动泊车功能， OBU上传车辆环视摄像机采集到的车辆 周围360°范围内的视频图像数据； 配备多个摄像机采集车辆周围360 °范围内的视频图像数 据， 相邻摄 像机之间的视角存在重 叠区域， 对多个 摄像机的视频图像进行拼接再 上传。 2.根据权利要求1所述的远程驾驶监控视频画面调整方法， 其特征在于， 车辆正常行驶 时， 上传前视摄像机和侧视摄像机采集到的视频图像数据或上传前视摄像机和侧视摄像机 采集到的视频图像数据但降低侧视摄 像机采集到的视频图像数据的清晰度。 3.根据权利要求1所述的远程驾驶监控视频画面调整方法， 其特征在于， 相邻摄像机之 间的视角存在40％～5 0％的重叠区域。 4.根据权利要求1所述的远程驾驶监控视频画面调整方法， 其特征在于， 图像拼接包 括： 将相邻两个 摄像机同时采集到的两张图记为Pl和Pr； 首先对Pr进行分割， 将 其中同Pl重叠的区域和非重叠的区域分开， 称重叠区域为Pr_pers， 非重叠区域为Pr_affine； 对Pl和Pr_pers使用角点提取算法提取特征点， 将特征点周围连续暗点或连续亮 点的分布 范围记为有效区间S， 然后计算有效区间S特征点方向， 特征点方向为特征点到S中间位置的 连线的方向； 记角点提取算法中特征点周围共有H个待分类像素点， 则特征点一共有2H种方向， 包括 指向待分类像素点的方向以及指向相 邻待分类像素点中间位置的方向， 并依据此方向分别 将两张图片中提取的特 征点分为2H个子集； 分别对匹配的特征点子集进行特征匹配， 能够得到2H个匹配特征点集合， 然后将所有 匹配特征点统一到同一个集合中， 通过匹配特征点集计算透视变换矩阵： 假设Pr_pers右边缘 的一个点p经过变换之后的点为p ′， p′的纵坐标位于图片垂直方向的正中央， 那么就将p作 为旋转变换的中心， 将p和p ′这两者水平差Δw和垂 直差Δh作为平移变换的参数； 同时计算 Pr_pers右边缘在变换 前后的缩放比例k以及倾 斜角 θ； 使用以上获取到的五个参数： 旋转变换的中心、 水平差Δw、 垂直差Δh、 缩放比例k以及 倾斜角 θ， 计算出一个 变换矩阵； 通过变换矩阵进行拼接， 得到最终的宽 视角图像。权　利　要　求　书 1/1 页 2 CN 115065807 A 2远程驾驶监控视频画面调整方 法 技术领域 [0001]本发明属于远程驾驶 技术领域， 具体涉及一种远程驾驶 监控视频画面调整方法。 背景技术 [0002]5G远程驾驶(5G  Remote Driving)作为智能驾驶产业的一个分支， 在无人驾驶技 术尚不成熟的前提下， 具有很高的应用价值和应用前景。 无人驾驶车辆是融合环境感知、 路 径规划、 状态识别和车辆控制等多 元一体的集 成化、 智能化的新时代技术产物。 无人驾驶车 辆不但可以通过搭载 的自动驾驶系统进行环境感知、 道路规划达成无人驾驶的目的， 也可 以通过远程驾驶端对装备智能软件和多种感应设备的车辆进 行云端操控实现无人驾驶。 在 无人驾驶技术中， 以无人车为例， 当无人车 处于远程驾驶模式时， 可以通过远程驾驶平台实 时查看安装在无人车上的摄像头采集并上传的视频数据对应的视频画面， 以对无人车进 行 驾驶操控。 [0003]远端控制室通过车辆终端实时传输的路况视频 图像作为判断是否进行远程驾驶 或远程控制汽车行驶的依据。 由于车辆在道路上行驶时会在许多不同制式的网络覆盖范围 内快速穿过， 一些网络自身的特性不能满足车辆终端实时视频传输， 会导致连接时间过长 甚至连接中 断。 同时， 由于行车条件的多变性、 极端的天气状况、 城市的高层建筑物等等， 都 会对信号传输 造成影响。 发明内容 [0004]本发明的目的在于， 提供一种远程驾驶监控视频画面调整方法， 解决远程驾驶对 网络带宽要求高的问题。 [0005]本发明所采用的技 术方案如下： [0006]一种远程驾驶监控视频画面调整方法， 远程被控车辆设有车载摄像机和车载网联 终端OBU， 车载摄像机包括前视摄像机、 后视摄像机、 侧视摄像机和环视摄像机； 前视摄像机 用于采集远程被控车辆前方交通环境信息并将采集到的视频图像数据发送给OBU； 侧视摄 像机用于采集远程被控车辆侧方交通环境信息并将采集到的视频图像数据发送给OBU； 后 视摄像机用于采集远程被控车辆后方交通环境信息并将采集到的视频图像数据发送给 OBU； 环视摄像机用于车辆泊车时采集车辆近距离360 °范围内的视频数据信息并将采集到 的视频图像数据发送给OBU； 然后OBU对车 载摄像机采集到的视频图像数据进行压缩上传； [0007]启动远程驾驶模式后， 车辆正常行驶， OBU只上传前视摄像机采集到的视频图像数 据； [0008]当远程驾驶员准备向右进行变道时， 打开车辆右转向灯， OBU上传车辆右侧侧视摄 像机采集到的视频图像数据； 当远程驾驶员准备向左进行变道 时， 打开车辆左转向灯， OBU 上传车辆左侧 侧视摄像机采集到的视频图像数据； [0009]当车辆到达目的地准备停车时， 启动泊车功能， OBU上传车辆环视摄像机采集到的 车辆周围360 °范围内的视频图像数据； 配备多个摄像机采集车辆周围360 °范围内的视频图说　明　书 1/4 页 3 CN 115065807 A 3