(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210439935.4 (22)申请日 2022.04.25 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 叶学义　曾懋胜　陈海颖　应娜　 李刚　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于跳跃连接多尺度融合的GAN图像修 复方法 (57)摘要 本发明公开了一种基于跳跃连接多尺度融 合的GAN图像修复方法， 根据跳跃连接未考虑编 解码器中各层特征之间的相关性的特点， 利用编 码器中相对高层的特征图与相对低层的特征图 融合， 再传递至各层解码器并输出生成图像。 然 后细化了损失的类型， 重新定义损失函数为对抗 损失、 像素重构损失和金字塔损失来进一步指导 网络的训练向正确的方向进行。 本发 明方法针对 现有图像修复方法高层特征不能指导低层特征 的生成导致修复的结果可能存在语义不连贯的 问题进行改善， 提升了破损图像修复的效果， 在 满足人类视觉感知需求的同时也能在一定程度 上与原图相似。 且经实验验证， 该方法在人脸图 像、 自然场景图像和建筑图像上都达到了不错的 修复效果。 权利要求书2页 说明书7页 附图4页 CN 114693565 A 2022.07.01 CN 114693565 A 1.一种基于 跳跃连接多尺度融合的GAN图像修复方法， 其特 征在于， 步骤如下： 步骤(1).构建基于 跳跃连接多尺度融合的生成对抗网络； 以掩膜来代替图像中的破损区域， 将带有破损区域的图像作为生成单元的输入， 生成 单元以U‑Net模型为基础结构， 跳跃连接中使用多尺度融合将编码 器各层特征图融合， 然后 传递至解码器与解码器特征图进行通道融合， 并得到生成图像； 判别单元由5层卷积层组 成， 对输入图像做二分类， 负责对修复图像和原 始图像的判别； 步骤(2).构建生成对抗网络的损失函数； 对步骤(1)中得到的生成图像进行处理得到破损图像的修复结果， 与原图计算像素重 构损失； 解码器特征图输出各尺度的图像与对应尺度的原图计算金字塔损失； 同时作为判 别单元的输入， 输出判别结果并计算对抗损失， 结合三种损失函数同时指导生成对抗网络 下一步的训练向正确的方向进行， 使得生成单元能生成更加逼真的修复图像， 判别单元能 进一步区分生成的修复图像和原图； 步骤(3).通过训练好的生成对抗网络得到破损图像的修复结果。 2.根据权利要求1所述的一种基于跳跃连接多尺度融合的GAN图像修复方法， 其特征在 于， 步骤(1).具体方法如下： 步骤(1.1).生成单元由编码器、 解码器和多尺度融合的跳跃连接组成， 以掩膜(居中的 矩形掩膜或不 规则掩膜)代替图像中的破损区域， 具体公式表达如下： Iinput＝Io⊙(1‑M)      (1) 式中， Io为原始图像， M为掩膜， ⊙表示矩阵逐 元素相乘； 将带有破损区域的图像输入到生成单元编码器中获得编码器特征图， 通过跳跃连接中 的多尺度融合对编码器各层特征图进 行特征融合， 并传递至解码 器； 具体而言， 即将高层特 征图上采样后与其相邻的低层特 征图进行融合， 得到各层融合特 征； 步骤(1.2).将步骤(1.1)中得到的各层融合特征通过跳跃连接传递至解码器， 分别与 具有相同尺度大小的解码 器特征图进 行通道融合， 使得解码 器的上采样 计算能够利用编码 器对应层和低层的原 始信息； 步骤(1.3).解码器输出生成图像； 步骤(1.4).判别单元由5层 卷积层组成， 对输入图像做二分类， 负责对修复图像和原图 的判别。 3.根据权利要求2所述的一种基于跳跃连接多尺度融合的GAN图像修复方法， 其特征在 于， 步骤(2).具体方法如下： 步骤(2.1).细化损失的类型， 重新定义损失函数L来指导模型的训练向正确的方向进 行； 公式表达如下： L＝ λadvLadv+λpyramidLpyramid+Lrec    (2) 式中， Ladv为对抗损失， Lpyramid为金字塔损失， Lrec为像素重构损失， λadv＞0和 λpyramid＞0 为对应损失函数的权 重值； 优选 λadv＝0.1， λpyramid＝0.5； 步骤(2.2).生成单元输出的生成图像相比于输入， 破损区域和已知区域的内容都会发 生改变， 但只有破损区域需要修复， 因此最终的修复结果由输入的 已知区域和输出 的破损 区域组合得到， 公式表达如下： Iinpainting＝Ig⊙M+Io⊙(1‑M)    (3)权　利　要　求　书 1/2 页 2 CN 114693565 A 2式中， Ig为生成单元输出的生成图像； 将得到的图像修复结果输入至判别单元中以计算对抗损失来使结果更逼真； 以hinge 函数定义对抗损失， 公式表达如下： 式中， Pdata(Iinpainting)为修复图像样本分布， 表示期望Iinpainting从 Pdata(Iinpainting)中获取； Pdata(Io)为真实样本分布， 表示期望Io从Pdata(Io)中获 取； D(Io),D(Iinpainting)分别表示判别单元对原始图像和修复图像的判别结果， ReLU( ·)表 示激活函数， LD为判别单 元对抗损失， 也 为判别单 元的总损失； 步骤(2.3).生成单元输出 的生成图像会同时改变输入图像Iinput的破损区域和已知区 域， 因此将像素重构损失Lrec分解成图像缺失区域 的像素重构损失Lhole和已知区域 的像素 重构损失Lvalid； 以Lhole来指导缺失区域的输出在语义上更接近原图， Lvalid指导生成单元输 出的生成图像在已知区域 不会有太大改变， 公式表达如下： Lrec＝ λholeLhole+λvalidLvalid      (6) 式中， λhole＞0和 λvalid＞0为对应的权重值； λhole和 λvalid都采用l1距离来衡量生成图像和 原始图像在像素层面的差异， 公式表达如下： Lhole＝||Ig⊙M‑Io⊙M||1＝||Iinpainting‑Io||1    (7) Lvalid＝||Ig⊙(1‑M)‑Io⊙(1‑M)||1＝||Ig⊙(1‑M)‑Iinput||1    (8) 步骤(2.4).通过生成单元各层解码器特征图经卷积输出不同尺度的修复图像与真实 样本计算l1距离， 以此得到金字塔损失， 逐步完善每个尺度对破损区域的填充， 公式表达如 下： 式中， 为Ipyramid中的各个尺度的图像修复结果， 由Io下采样至与 具有 相同尺度大小得到； Ipyramid实现多尺度融合 的过程监控， 使得解码器的过程损失更快的产 生效果。 4.根据权利要求3所述的一种基于跳跃连接多尺度融合的GAN图像修复方法， 其特征在 于， 所述步骤(2)中的λhole＝6， λvalid＝1。权　利　要　求　书 2/2 页 3 CN 114693565 A 3