(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211118069.5 (22)申请日 2022.09.14 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 李树涛　胡宇龙　刘海波　佃仁伟　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 谭武艺 (51)Int.Cl. G06T 5/50(2006.01) G06F 17/16(2006.01) (54)发明名称 基于高光谱和多光谱图像融合生成高光谱 图像的方法及系统 (57)摘要 本发明公开了一种基于高光谱和多光谱图 像融合生 成高光谱图像的方法及系统， 本发明基 于高光谱和多光谱图像融合生成高光谱图像的 方法包括： 将输入的高光谱图像 Y进行子空间分 解以提取得到待生成的高光谱图像的左低秩向 量U； 将输入的多光谱图像 Z通过训练好的深度生 成网络， 生成待生成的高光谱图像的右低秩向量 V； 将待生成的高光谱图像的左低秩向量 U和右低 秩向量V融合生成高光谱图像 X； 本发明的系统包 括用于获取输入的高光谱图像 Y以及多光谱图像 Z的光学元件及成像传感器。 本发明能够基于高 光谱和多光谱图像融合生 成高光谱图像， 降低高 光谱图像获取的成本和效率。 权利要求书2页 说明书5页 附图3页 CN 115456923 A 2022.12.09 CN 115456923 A 1.一种基于高光谱和多光谱图像融合 生成高光谱图像的方法， 其特 征在于， 包括： 1） 将输入的高光谱图像 Y进行子空间分解以提取得到待生成的高光谱图像的左低秩向 量U； 将输入的多光谱图像 Z通过训练好的深度生成网络， 生成待生成的高光谱图像的右低 秩向量V； 2） 将待生成的高光谱图像的左低秩向量 U和右低秩向量 V融合生成高光谱图像 X。 2.根据权利要求1所述的基于高光谱和多光谱 图像融合生成高光谱图像的方法， 其特 征在于， 步骤1） 中的深度生成网络包括正向运算单元和逆向运算单元， 所述正向运算单元 和逆向运算单元均由依次级联的多个二 维卷积层构成， 且所述正向运算单元的多个二维卷 积层尺度从大大小排列布置， 所述逆向运算单元的多个二维卷积层尺度从小到大排列布 置， 所述正向运算单元和逆向运算单元两者之 间相同尺度的二维卷积层以跳跃连接的方式 进行连接， 内部相 邻的二维卷积层则通过对应的上采样和下采样运算连接， 多光谱图像 Z从 正向运算单元中尺度最大的二维卷积层输入、 逆向运算单元尺度最大的二维卷积层输出右 低秩向量 V。 3.根据权利要求2所述的基于高光谱和多光谱 图像融合生成高光谱图像的方法， 其特 征在于， 每一个二 维卷积层内部都依次包含一次二维卷积、 一次二 维批标准化、 一次线性整 流以及一次下采样。 4.根据权利要求3所述的基于高光谱和多光谱 图像融合生成高光谱图像的方法， 其特 征在于， 步骤1） 中的深度生成网络训练所采用的损失函数为均方根 误差RMSE 。 5.根据权利要求1所述的基于高光谱和多光谱 图像融合生成高光谱图像的方法， 其特 征在于， 步骤1） 中将输入的高光谱图像 Y进行子空间分解具体是指将输入的高光谱图像 Y进 行奇异值分解， 并将奇异值分解得到的左奇异向量作为待生成的高光谱图像的左低秩向量 U； 且将输入的高光谱图像 Y进行奇异值分解的函数表达式为： Y=U1Σ1V1 上式中，U1为左奇异向量组成的矩阵， Σ1为奇异值组成的对角矩阵， V1为右奇异向量组 成的矩阵的转置 。 6.根据权利要求1所述的基于高光谱和多光谱 图像融合生成高光谱图像的方法， 其特 征在于， 步骤1） 中的高光谱图像 Y为来自高光谱视频中的图像帧， 且基于高光谱视频中的原 始图像帧获得高光谱图像 Y包括： 对高光谱视频中的原始图像 帧根据张正友标定法获取 的 成像传感器的畸变系数矩阵进 行图像去畸变操作， 裁剪各光谱波段图像对齐并按波段顺序 堆叠， 以获得高光谱图像 Y。 7.根据权利要求1所述的基于高光谱和多光谱 图像融合生成高光谱图像的方法， 其特 征在于， 步骤1） 中的多光谱图像 Z为来自多光谱视频中的图像帧， 且基于多光谱视频中的原 始图像帧获得多光谱图像 Z包括： 对多光谱视频中的原始图像 帧根据张正友标定法获取 的 成像传感器的畸变系 数矩阵进行图像去畸变操作， 并根据与高光谱图像 Y的对应关系裁剪 出与高光谱图像 Y的相同区域以获得多光谱图像 Z。 8.一种用于权利要求1～7中任意一项所述的基于高光谱和多光谱图像融合生成高光 谱图像的系统， 其特征在于， 包括主镜 （1） 、 光阑 （2） 、 分光器件 （3） 、 准直镜头 （4） 、 滤光片阵 列和微透镜阵列 （5） 、 高光谱图像传感器 （6） 、 反光镜 （7） 、 成像镜头 （8） 和多光谱图像传感器 （9） ， 所述主镜 （1） 捕获的光线经过光阑 （2） 、 分光器件 （3） 后被 分成两路， 一路光线依次通过权　利　要　求　书 1/2 页 2 CN 115456923 A 2准直镜头 （4） 、 滤光片阵列和微透镜阵列 （5） 后在高光谱图像传感器 （6） 上成像以获得高光 谱视频中的原始图像帧； 能够一路光线依次通过反光镜 （7） 、 成像镜头 （8） 后在多光谱图像 传感器 （9） 上成像以获得多光谱视频中的原 始图像帧。 9.一种基于 高光谱和多光谱图像融合生成高光谱图像的系统， 包括相互连接的处理计 算单元和存储器， 其特征在于， 所述处理计算单元被编程或配置以执行权利要求1～7中任 意一项所述基于高光谱和多光谱图像融合 生成高光谱图像的方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质中存储有计算机程序， 其特征 在于， 所述计算机程序用于被处理计算单元编程或配置以执行权利要求 1～7中任意一项 所 述基于高光谱和多光谱图像融合 生成高光谱图像的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115456923 A 3