(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221049348 8.0 (22)申请日 2022.05.07 (71)申请人 清华大学 地址 100084 北京市海淀区清华大 学 (72)发明人 李刚　张强　王学谦　王志豪　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苟冬梅 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种异质遥感图像的融合方法 (57)摘要 本申请提供了一种异质遥感图像的融合方 法， 涉及图像处理技术领域， 旨在综合光学图像 和雷达图像各自的优点， 生成融合图像。 所述方 法包括： 获取光学图像和雷达图像； 将所述光学 图像和所述雷达图像输入同质变化图像生成模 型， 得到融合图像， 所述融合图像包括所述光学 图像的内容特征和所述雷达图像的风格形式特 征； 其中， 所述同质变化图像生成模型是学习了 基于光学图像样本和雷达图像样本生成待迭代 图像样本， 并对所述待迭代图像样 本进行迭代生 成融合图像样本的模型。 本专利受到国家重点研 发计划2021YFA0715201资助。 权利要求书3页 说明书14页 附图4页 CN 114863235 A 2022.08.05 CN 114863235 A 1.一种异质遥感图像的融合方法， 其特 征在于， 所述方法包括： 获取光学图像和雷达图像； 将所述光学图像和所述雷达 图像输入 同质变化图像生成模型， 得到融合图像， 所述融 合图像包括所述 光学图像的内容特 征和所述雷达图像的风格形式特 征； 其中， 所述同质变化图像生成模型是学习了基于光学图像样本和雷达图像样本生成待 迭代图像样本， 并对所述待迭代图像样本进行迭代生成融合图像样本的模型。 2.根据权利要求1所述的方法， 其特征在于， 所述同质变化图像生成模型是对初始模型 进行训练得到的， 所述初始模型包括图像生成模块和权值固定的第一特征提取模块； 训练 所述初始模型的步骤至少包括： 将所述光学图像样本和所述雷达图像样本 输入所述初始模型； 利用所述第 一特征提取模块， 提取所述光学图像样本的第 一内容特征以及所述雷达图 像样本的第一 风格形式特 征； 将所述第一内容特征以及所述第 一风格形式特征输入所述图像生成模块， 输出第 一中 间图像样本； 根据所述图像生成模块当前的输入和输出， 构建损失函数； 基于所述损 失函数， 对所述初始模型的模型参数进行更新， 得到所述同质变化图像生 成模型。 3.根据权利要求2所述的方法， 其特征在于， 所述初始模型还包括权值随机的第 二特征 提取模块； 训练所述初始模型的步骤 还包括： 获取所述图像生成模块生成的所述待迭代图像样本， 所述待迭代图像样本为： 在所述 图像生成模块的输入为所述第一内容特征和所述第一风格形式特征的情况下， 使 所述损失 函数最小的图像样本； 利用所述第 二特征提取模块， 提取所述光学图像样本的第 二内容特征以及所述雷达图 像样本的第二 风格形式特 征； 获取所述图像生成模块生成的第二中间图像样本， 所述第二中间图像样本为： 在所述 图像生成模块的输入为所述第二内容特征和所述第二风格形式特征的情况下， 使 所述损失 函数最小的图像样本； 根据所述第二中间图像样本， 对所述待迭代图像样本进行迭代， 包括： 在满足迭代终止条件的情况下， 将所述第 二中间图像样本作为所述同质变化图像生成 模型输出的所述融合图像样本 。 4.根据权利要求3所述的方法， 其特征在于， 所述在满足迭代终止条件的情况下， 将所 述第二中间图像样本作为所述同质变化图像生成模型输出的所述融合图像样本， 包括： 计算所述第二中间图像样本和所述待迭代图像样本之间的迭代收敛误差； 在所述迭代收敛误差小于迭代收敛误差阈值的情况下， 或， 在生成所述第二中间图像 样本的次数达到预设次数的情况下， 将所述第二中间图像样本作为所述同质变化图像生成 模型输出的所述融合图像样本 。 5.根据权利要求3所述的方法， 其特征在于， 所述根据所述第二中间图像样本， 对所述 待迭代图像样本进行迭代， 还 包括： 在不满足所述迭代终止条件的情况下， 将所述第 二中间图像样本作为所述待迭代图像权　利　要　求　书 1/3 页 2 CN 114863235 A 2样本， 返回步骤： 利用所述第二特征提取模块， 提取所述光学图像样 本的第二内容特征以及 所述雷达图像样本的第二 风格形式特 征。 6.根据权利要求2 ‑5任一所述的方法， 其特征在于， 在所述图像生成模块当前的输入为 所述第一内容特征和所述第一风格形式特征的情况下， 所述根据所述图像生成模块当前的 输入和输出， 构建损失函数， 包括： 利用所述第 一特征提取模块， 提取所述第 一中间图像样本的第 一内容特征以及第 一风 格形式特 征； 根据所述第一中间图像样本的第一内容特征和所述光学图像样本的第一内容特征之 间的差异， 以及所述第一中间图像样本的第一风格形式特征和所述雷达图像样本的第一风 格形式特 征之间的差异， 构建所述损失函数。 7.根据权利要求2 ‑5任一所述的方法， 其特征在于， 在所述图像生成模块当前的输入为 所述第二内容特征和所述第二风格形式特征的情况下， 所述根据所述图像生成模块当前的 输入和输出， 构建损失函数， 包括： 利用所述第 二特征提取模块， 提取所述第 二中间图像样本的第 二内容特征以及第 二风 格形式特 征； 根据所述第二中间图像样本的第二内容特征和所述光学图像样本的第二内容特征之 间的差异， 以及所述第二中间图像样本的第二风格形式特征和所述雷达图像样本的第二风 格形式特 征之间的差异， 构建所述损失函数。 8.根据权利要求1所述的方法， 其特征在于， 在所述得到融合图像之后， 所述方法还包 括： 获取目标雷达 图像， 所述目标雷达 图像为与所述雷达 图像来自同一雷达， 且与所述光 学图像观测同一区域的图像， 所述区域包括目标提 议区域； 将所述融合图像和所述目标雷达图像输入分类器， 得到所述融合图像和所述目标雷达 图像各自的目标提 议区域； 根据所述融合图像和所述目标雷达图像各自的目标提议 区域， 得到所述融合图像和所 述目标雷达图像的共有目标提 议区域； 融合所述共有目标提 议区域和所述目标 雷达图像， 得到目标提 议区域增强的图像。 9.根据权利要求8所述的方法， 其特 征在于， 所述分类 器通过如下步骤训练得到： 从所述雷达 图像样本和所述融合图像样本中， 获取多个带标签的方框样本， 所述标签 表征所述方框样本是否为所述目标提 议区域； 获取多个所述方框样本各自的梯度范 数图； 将多个所述方框样本各自的梯度范数图输入初始分类器， 得到多个所述方框样本各自 是否为目标提 议区域的分类预测结果； 根据多个所述方框样本各自的标签以及 分类预测结果， 对所述初始分类器的参数进行 更新， 得到所述分类 器。 10.根据权利要求8所述的方法， 其特征在于， 所述融合所述共有目标提议区域和所述 目标雷达图像， 得到目标提 议区域增强的图像， 包括： 基于科普拉模型， 计算所述目标雷达图像和所述融合图像中背景杂波的联合概率密度 函数， 所述联合概率密度函数表征所述目标雷达图像和所述融合图像共同的背景杂波分布权　利　要　求　书 2/3 页 3 CN 114863235 A 3