(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210610715.3 (22)申请日 2022.06.01 (65)同一申请的已公布的文献号 申请公布号 CN 114693756 A (43)申请公布日 2022.07.01 (73)专利权人 中国工程物理研究院流体物理研 究所 地址 621000 四川省绵阳市游仙区绵山路 64号 (72)发明人 杨欣昱　王海峰　储松南　骆永全　 曹宁翔　袁红　温伟峰　沈志学　 赵祥杰　黄立贤　 (74)专利代理 机构 成都行之专利代理事务所 (普通合伙) 51220 专利代理师 林菲菲(51)Int.Cl. G06T 7/33(2017.01) G06T 3/40(2006.01) G06V 20/17(2022.01) G06V 10/764(2022.01) H04N 7/18(2006.01) H04N 19/70(2014.01) G01J 3/28(2006.01) (56)对比文件 CN 113358581 A,2021.09.07 CN 107219169 A,2017.09.2 9 CN 113358581 A,2021.09.07 CN 111721413 A,2020.09.2 9 CN 10175 0615 A,2010.0 6.23 WO 202125 0242 A2,2021.12.16 JP 2017208 813 A,2017.1 1.24 审查员 黄娟 (54)发明名称 一种适用 于机载光谱成像系统的实时图像 处理装置及方法 (57)摘要 本发明公开了适用于机载光谱成像系统的 实时图像处理装置及方法， 装置包括搭载于机载 光谱成像系统的机上图像处理模块和位于地面 接收处理系统的机下图像处理模块； 所述机上图 像处理模块用于实现机上航摄图像的实时配准 与光谱信息分类处理； 所述机下图像处理模块用 于在地面端对航摄图像进行实时配准与拼接处 理。 本发明的实时图像处理装置通过机上和机下 两个部分， 可有效改善机载光谱成像系统实时图 像快速配准与拼接的要求， 在国土资源勘探、 生 态环境监测、 城市遥感等领域发挥重要作用。 权利要求书2页 说明书8页 附图3页 CN 114693756 B 2022.08.23 CN 114693756 B 1.一种适用于机载光谱成像系统的实时图像处理装置， 其特征在于， 包括搭载于机载 光谱成像系统的机上图像处 理模块和位于地 面接收处 理系统的机下图像处 理模块； 所述机上图像处 理模块用于实现机上航摄图像的实时配准与光谱信息分类处 理； 所述机下图像处理模块用于在地面接收处理系统对航摄图像进行实时配准与拼接处 理； 还包括搭载于机载光谱成像系统的机下图像处理模块发射端和位于地面接收处理系统 的机上图像处 理模块接收端； 所述机下图像处理发射端用于将图像信 息进行编码压缩， 并将压缩后的图像信 息传输 给所述机下图像处 理模块进行处 理； 所述机上图像处理模块接收端用于接收所述机上图像处理模块发送的完成配准与光 谱信息分类处理的图像信息， 并进行显示和监控； 所述机载光谱成像系统还包括光学成像 模块、 机上驱动和控制模块、 姿态 识别装置、 方位探测装置、 信息采集模块和在线存 储模块； 所述光学成像模块用于实时获取预设周期序列的航摄图像的光谱原图和可见光原图， 并调用校准数据对光谱原图进 行校准得到校准图像， 将校准图像与可见光原图一起 发送给 所述信息采集模块； 所述机上驱动和控制模块用于驱动所述信 息采集模块和光学成像模块正常工作， 并对 光学成像模块中的设备 单元进行控制和时序精确匹配； 所述姿态识别装置用于对机载光谱成像系统 的姿态信 息进行探测与采集， 并将姿态信 息发送给 所述信息采集模块； 所述方位探测装置用于对机载光谱成像系统的航行信息和位置信息进行探测与采集 并将航行信息和位置信息发送给 所述信息采集模块； 所述信息采集模块用于接收所述光学成像模块、 姿态识别装置和方位探测装置的信 息 并将其分别发送给 所述机上图像处 理模块、 机下图像处 理模块发射端以及 在线存储模块。 2.根据权利要求1所述的一种适用于机载光谱成像系统的实时图像处理装置， 其特征 在于， 所述光学成像模块包括搭载消色散镜头的可调滤光器、 可见相机、 搭载可见光镜头的 可见彩色相机； 所述机上驱动和控制模块对所述可调滤光器和可见相机进行精确控制和时序精确匹 配， 实现可调滤光器在预设时间内、 预设波长下进行图像的及时采集。 3.根据权利要求1 ‑2任一项所述的一种适用于机载光谱成像系统的实时图像处理装 置， 其特征在于， 所述机上图像处理模块包括图像实时配准模块、 光谱信息处理模块和第一 图传发射端； 所述图像实时配准模块基于 接收的图像信息进行图像 配准与图像合成； 所述光谱信 息处理模块对光谱图像进行分类与匹配， 实现航摄图像的实时光谱信 息分 类与配准； 所述第一图传发射端将完成配准与处 理的图像信息发送至地 面接收处 理系统。 4.根据权利要求1 ‑2任一项所述的一种适用于机载光谱成像系统的实时图像处理装 置， 其特征在于， 所述机下图像处理模块发射端包括光谱图像视频编码模块和第二图传发 射端； 所述光谱图像视频编码模块用于对接收的图像信息进行视频编码压缩； 所述第二图传发射端将压缩后的图像信息传输 至所述机下图像处 理模块。权　利　要　求　书 1/2 页 2 CN 114693756 B 25.根据权利要求1 ‑2任一项所述的一种适用于机载光谱成像系统的实时图像处理装 置， 其特征在于， 所述机下图像处理模块包括第二图传接 收端、 光谱图像解耦模块、 图像快 速拼接模块、 光谱信息处 理模块和第二 监视器； 所述第二图传接收端用于 接收由所述机下图像处 理模块发射端发送的实时图像信息； 所述光谱图像解耦模块对接收的图像信息进行图像解耦； 所述图像快速拼接模块和光谱信息处理模块分别对解耦后的图像信息进行图像快速 配准与拼接和光谱信息分类与匹配； 所述第二 监视器进行目标的机下拼接图像显示和监控。 6.根据权利要求1 ‑2任一项所述的一种适用于机载光谱成像系统的实时图像处理装 置， 其特征在于， 所述机上图像处 理模块接收端包括第一图传接收端和第一 监视器； 所述第一图传接收端用于接收所述机上图像处理模块发送的完成配准与处理的图像 信息； 所述第一 监视器进行目标的机上配准图像显示。 7.基于权利要求1 ‑6任一项所述的实时图像处 理装置的方法， 其特 征在于， 包括： 通过机载光谱成像系统实时采集航摄图像， 同时利用姿态识别装置和方位探测装置进 行方位姿态信息的探测与采集； 通过机上图像处理模块对获取的单组预设周期序列的图像数据进行配准、 校正和优化 处理； 对优化处理完成后的数据进 行特征提取、 匹配及识别分析； 对识别到的特征信息进 行 分析， 判断特 征信息是否满足预设条件， 如果 不满足， 则采用自适应调控技术对设备参数进行调整， 并返回数据采集步骤， 直到识别的特征 信息满足预设条件； 通过机下图像处理模块， 对获取的多组预设周期序列的图像数据进行处理与分析， 得 到相关特 征信息。 8.基于权利要求1 ‑6任一项所述的实时图像处理装置的方法， 其特征在于， 包括图像特 征匹配处 理和拼接处 理； 所述图像特 征匹配处 理过程具体包括： 通过机载光谱成像系统读入预设周期序列的航摄图像并判断是否为空， 如不为空， 则 任意选取一张图像进行 特征检测； 判断是否为第一组周期序列数据， 如果是则记为前一帧特征， 之后进行特征点提取与 匹配， 否则直接进行 特征点提取与匹配； 判断是否匹配成功， 如果是， 则进入拼接处 理过程， 否则返回特 征检测步骤； 所述拼接处理过程具体包括： 对特征匹配成功后的图像分别进行影像矫正、 变换关系计算、 多模图像 融合处理， 把多 张图像转换成一个共同的坐标系， 对多张图像进行拼接融合； 保存融合 拼接内容并清理内存， 拼接结束。权　利　要　求　书 2/2 页 3 CN 114693756 B 3