(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210413734.7 (22)申请日 2022.04.20 (65)同一申请的已公布的文献号 申请公布号 CN 114529794 A (43)申请公布日 2022.05.24 (73)专利权人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 李树涛　刘锦洋　佃仁伟　韦晓辉　 刘海波　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 谭武艺 (51)Int.Cl. G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/54(2022.01) G06V 10/46(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113159143 A,2021.07.23 CN 112801158 A,2021.0 5.14 CN 114187214 A,202 2.03.15 审查员 张娇 (54)发明名称 一种红外与可见光图像融合方法、 系统及介 质 (57)摘要 本发明公开了一种红外与可见光图像融合 方法、 系统及介质， 本发明包括分别将红外图像 Ia与可见光图像 Ib分别输入深度特征提取网络 D 得到红外上采样特征图 Da与可见光上采样特征 图Db再拼接得到融合图像， 将红外图像 Ia与可见 光图像Ib分别输入深度特征提取网络 D提取多种 尺度的图像特征， 再通过掩码上采样网络 Umask 生成权重， 将经过特征上采样网络 Uorin生成重 建图加权求和得到多种尺度的融合层； 将融合图 像输入特征上采样网络 Uorin与多种尺度的融合 层进行融合得到最终的融合图像。 本发明生成图 像具有可视化效果好， 纹理信息明显， 特征提取 能力强， 结构保持度高， 无明显伪影， 具有很强的 普适性等优点。 权利要求书2页 说明书8页 附图4页 CN 114529794 B 2022.07.08 CN 114529794 B 1.一种红外与可 见光图像融合方法， 其特 征在于， 包括： 1） 分别将红外图像 Ia与可见光图像 Ib分别输入预先训练好 的深度特征提取网络 D提取 多种尺度的图像特征， 再将最小尺度的特征输入至掩码上采样网络 Umask提取多种尺度的 图像掩码， 分别得到多种尺度的红外图像掩码特征图和可见光图像掩码特征图； 分别将红 外图像Ia与可见光图像 Ib通过深度特征提取网络D提取得到的多种尺度的图像特征经过特 征上采样网络 Uorin重建图像， 分别得到多种尺度的红外图像重建特征图和可见光图像重 建特征图； 将多种尺度的红外图像掩码特征图和可见光图像掩码特征图、 红外图像重建特 征图以及可 见光图像重建特 征图融合得到多种尺度的融合层； 2） 分别将红外图像 Ia与可见光图像 Ib输入预先训练好的深度特征提取 网络D， 得到对应 的红外上采样特征图 Da与可见光上采样特征图 Db； 将红外上采样特征图 Da与可见光上采样 特征图Db拼接得到融合图像， 再将融合图像输入特征上采样网络 Uorin分别与多种尺度的 融合层进行融合， 从而得到最终的融合图像； 所述深度特征提取网络 D包括五级相同的卷积结构， 每个卷积结构与其上级卷积结构 之间使用2×2的最大池化层相连， 且每一个卷积结构都重复应用两个3 ×3卷积层进 行特征 提取， 并将提取出 的特征作为下一级卷积结构或跳连接的输入， 最后一级卷积结构不包含 跳连接直接将特征输出； 所述多种尺度的融合层包括四种尺度下的融合层 Fusion_layer1  ~ Fusion_layer4， 其中任意第 i种尺度下的融合层的大小与深度特征提取网络 D中前4级卷 积结构中第 i级卷积结构的输出相同； 步骤2） 中将融合图像输入 特征上采样网络 Uorin分别 与多种尺度的融合层 进行融合的步骤包括： 2.1） 将融合图像通过2 ×2的上卷积层得到大小 为512的图像， 再与相同大小的第4种尺度下 的融合层 Fusion_layer4拼接后得到的大小为 1024的特征图作为特征上采样 网络Uorin中第一级卷积结构的输入， 通过第一级卷积结构 提取得到512大小的第一级特征图； 2.2） 将大小为512的第一级特征图通过2 ×2的上卷积层 得到大小为256的图像， 再与相同大小的第3种尺度下 的融合层 Fusion_layer3拼接后得到 的大小为512的特征图作为特征上采样网络 Uorin中第二级 卷积结构的输入， 通过第二级 卷 积结构提取得到256大小的第二级 特征图； 2.3） 将256大小的第二级特征图通过2 ×2的上卷 积层得到大小为128的图像， 再与相同大小的第2种尺度下 的融合层 Fusion_layer2拼接后 得到的大小为256的特征图作为特征上采样网络 Uorin中第三级 卷积结构的输入， 通过第三 级卷积结构提取得到128大小的第三级 特征图； 2.4） 将128大小的第三级 特征图通过2 ×2的 上卷积层得到大小为64的图像， 再与相同大小的第1种尺度下的融合层 Fusion_layer1拼接 后得到的大小为 128的特征图作为特征上采样网络 Uorin中第四级卷积结构的输入， 通过第 四级卷积结构提取得到64大小的第四级特征图； 2.5） 将64大小的第四级特征图通过1 ×1的 卷积得到最终的融合图像。 2.根据权利要求1所述的红外与 可见光图像融合方法， 其特征在于， 步骤1） 中将多种尺 度的红外图像掩码特征图和可见光图像掩码特征图、 红外图像重建特征图 以及可见光图像 重建特征图融合得到多种尺度的融合层包括： 针对多种尺度下的每一种尺度 i， 将尺度i下 的红外图像掩码特征图作为红外图像重 建特征图的权重， 可见光图像掩码特征图作为可见 光图像重 建特征图的权重， 将红外图像重 建特征图、 可见光图像重 建特征图两者加权求和， 得到尺度 i下的融合层。 3.根据权利要求2所述的红外与可见光图像融合方法， 其特征在于， 所述将红外图像重权　利　要　求　书 1/2 页 2 CN 114529794 B 2建特征图、 可见光图像重建特 征图两者加权求和的函数表达式为： Fusion_layeri= weight‑Umaska,i×layer‑Da,i+ weight‑Umaskb,i×layer‑Db,i， （1） 上式中，Fusion_layeri为第i种尺度下的融合层输出的特征图， weight‑Umaska,i为第i 种尺度下的红外图像掩码特征图， weight‑Umaskb,i为第i种尺度下的可见光图像掩码特征 图，Da,i为第i种尺度下的红外图像重建特征图， Db,i为第i种尺度下的可见光图像重建特征 图。 4.根据权利要求3所述的红外与可见光图像融合方法， 其特征在于， 所述掩码上采样网 络Umask包括四级相同的卷积结构， 每个卷积结构与其上级卷积结构之间使用2 ×2的上卷 积层相连， 且每一个卷积结构都重复应用两个3 ×3卷积层进行特征提取， 并将提取出 的特 征作为下一级 卷积结构的输入， 每个卷积结构通过跳过连接并入与输入相同尺寸的编 码结 果以增强网络的学习能力， 最后一级 卷积结构与1 ×1的卷积相连接以输出最 终的上采样结 果。 5.根据权利要求4所述的红外与可见光图像融合方法， 其特征在于， 所述特征上采样网 络Uorin与掩码上采样网络 Umask的网络结构完全相同。 6.根据权利要求5所述的红外与 可见光图像融合方法， 其特征在于， 步骤1） 之前还包括 训练掩码上采样网络 Umask、特征上采样网络 Uorin以及深度特征提取网络 D的步骤， 且训练 掩码上采样网络 Umask、特征上采样网络 Uorin以及深度特征提取网络 D时， 采用的红外图像 Ia与可见光图像 Ib的图像样本均为只包 含亮度通道Y的灰度图像。 7.一种红外与 可见光图像融合系统， 包括相互连接的微处理器和存储器， 其特征在于， 该微处理器中存储有被编程或配置以执行权利要求1～6中任意一项所述红外与可见光图 像融合方法的步骤。 8.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质中存储有用于被计 算机设备执行以实施权利要求1～6中任意一项所述红外与可见光图像融合方法的计算机 程序。权　利　要　求　书 2/2 页 3 CN 114529794 B 3