(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210728393.2 (22)申请日 2022.06.24 (71)申请人 吉林大学 地址 130012 吉林省长 春市长春高新技术 产业开发区前进大街269 9号 申请人 中国航空工业 集团公司沈阳飞机设 计研究所 (72)发明人 韦健　褚建　张秀林　刘振祥　 肖俊哲　陈建　郭校源　 (74)专利代理 机构 长春吉大专利代理有限责任 公司 22201 专利代理师 邵铭康　朱世林 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/232(2006.01)H04N 5/262(2006.01) (54)发明名称 基于单目摄像头的封闭驾驶座舱前视视野 重现系统和方法 (57)摘要 基于单目摄像头的封闭驾驶座舱前视视野 重现系统和方法属图像处理技术领域， 本发明的 系统中舱外摄像头固接于座舱顶盖外侧上方朝 前； 显示屏面向驾驶员垂直安装于座舱内前挡风 玻璃处， 并靠近主驾驶； 处理器、 移动电源、 键盘 均固接于座舱内副驾驶座位上； 处理器和显示屏 由移动电源 供电； 本发明为了解决采用单目摄像 头捕获前视图像的情况下的画面失真、 延时和卡 顿问题， 除提供上述系统外， 还设计多线程并行 执行框架下的前视图像后处理算法流程， 能显著 改善驾驶员在封闭驾驶座舱环 境下的驾驶体验， 提升驾驶员独立驾驶和操控， 进行高速行驶、 转 弯和避障的精 准性和安全性， 从而为封闭驾驶座 舱的实用化， 以及未来飞机封闭座舱的研究提供 关键科学技术支撑。 权利要求书2页 说明书4页 附图2页 CN 115118931 A 2022.09.27 CN 115118931 A 1.一种基于单目摄像头的封闭驾驶座舱前视视野重现系统， 其特征在于， 由处理器 (1)、 移动电源(2)、 键盘(3)、 舱外摄像头(4)、 显示屏(5)和舱内摄像头(6)组成， 其中处理器 (1)经导线分别与移动电源(2)、 键盘(3)、 舱外摄像头(4)、 显示屏(5)和舱内摄像头(6)连 接； 舱外摄像头(4)固接于驾驶座舱顶盖外侧上方， 朝向驾驶座舱前方， 其视场角大于驾驶 员驾驶时在显示屏(5)上的前视视野； 显示屏(5)面向驾驶员垂 直安装于驾驶座舱内前挡风 玻璃处， 并且靠近主驾驶； 处理器(1)、 移动电源(2)、 键盘(3)均固接于驾驶座舱内副驾驶座 位上； 处理器(1)和显示屏(5)由移动电源(2)供电。 2.一种基于单目摄像头的封闭驾驶座舱前视视野重现方法， 其特征在于， 包括下列步 骤： 2.1照权利要求1所述的由处理器(1)、 移动电源(2)、 键盘(3)、 舱外摄像头(4)、 显示屏 (5)和舱内摄像头(6)组成的基于单目摄像头的封闭驾驶座舱前视视野重现系统， 进行设 置； 2.2在离线阶段， 标定舱外摄 像头(4)与人眼， 然后创建多 线程， 包括下列步骤： 2.2.1将显示屏(5)取下； 将舱 内摄像头(6)置于驾驶员驾驶时的眼睛处， 并且使舱 内摄 像头(6)的朝向与驾驶员驾驶时的最常用视线 方向相同； 使用舱外摄像头(4)和舱内摄像头 (6)拍摄驾驶座舱前垂 直放置的同一块 棋盘格标定板； 利用张正友棋盘格标定 法， 计算出舱 外摄像头(4)的位姿、 畸变系数以及舱内摄像头(6)的位姿； 移除舱内摄像头(6)， 恢复显示 屏(5)至原来 位置； 2.2.2在处理器(1)中利用pthread多线程库创建四个POSIX线程， 分别命名为图像采集 线程、 图像处理线程、 图像显示线程、 文字显示线程； 关闭舱外摄像头(4)的自动曝光和自动 增益功能； 2.3在在线阶段， 同时开启图像采集线程、 图像处理线程、 图像显示线程、 文字显示线 程， 所有线程并行并且分别循环运行， 图像采集线程与文字显示线程在处理器(1)的CPU上 完成， 图像处 理线程与图像显示线程在处 理器(1)的高性能GPU上完成， 包括下列步骤： 2.3.1在图像采集线程 中， 利用舱外摄像头(4)逐帧采集图像； 舱外摄像头(4)的曝光值 和增益值在 使用默认值后， 由键盘交互来调节； 图像采集帧率固定为60Hz， 以避免大量的图 像数据为图像处理线程与图像显示线程带来过多负荷； 每采集完一帧图像， 将一个信号和 原始图像发送给图像处 理线程； 2.3.2在图像处理线程中， 不断检测是否收到信号； 如果是， 则将原始图像数据由处理 器(1)的CPU传送至GPU后， 依次执行校正畸变、 变换视角 、 裁剪图像， 从而得到最终图像， 然 后将最终 图像发送给图像显示线程， 同时检测是否收到下一帧信号； 否则， 继续检测信号， 其中： 校正畸变、 变换视角、 裁 剪图像包括下列步骤： 2.3.2.1校正畸变： 利用舱外摄 像头(4)的畸变系数， 校正原 始图像的几何畸变； 2.3.2.2变换视角： 利用舱外摄像头(4)的位姿和舱内摄像头(6)的位姿， 将校正畸变后 的图像由舱外摄像头(4)的视角变换到舱内摄像头(6)的视角， 从而 得到驾驶员驾驶视角的 图像； 2.3.2.3裁剪图像： 根据图像的裁剪参数， 将驾驶员在变换视角后的图像中的不可见区 域去除， 从而得到最终图像， 其中： 裁 剪参数在使用默认值后， 由键盘交 互来调节； 2.3.3在图像显示线程中， 当收到最终图像后， 依次执行图像送显、 显示图像、 键盘交权　利　要　求　书 1/2 页 2 CN 115118931 A 2互， 其中： 显示图像使用OpenGL窗口直接将处理器(1)的GPU上的最终图像全屏显示在显示 屏(5)上； 键盘交互用于通过驾驶员在键盘(3)上按键来控制舱外摄像头(4)的曝光和增益、 图像的裁剪参数、 是否显示文字信息、 是否退出系统； 在键盘交互期间， 将更新信息发送给 文字显示线程， 将显示图像的裁剪参数发送给图像处理线程， 同时不断检测驾驶员是否按 下键盘(3)上的Esc 键； 如果是， 结束所有 线程； 否则， 继续检测Esc 键的状态； 2.3.4在文字显示线程中， 在显示屏(5)的右上角显示文字， 所显示文字包括当前 时间、 舱外摄像头(4)的曝光和增益、 系统延时内容； 并且， 不断更新时间和由图像显示线程发送 来的更新信息 。权　利　要　求　书 2/2 页 3 CN 115118931 A 3