(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654176.5 (22)申请日 2021.12.3 0 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 杨华　朱贺　尹周平　 (74)专利代理 机构 华中科技大 学专利中心 42201 代理人 刘洋洋 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/40(2017.01) G06T 5/50(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01) (54)发明名称 一种微弱缺陷增强多角度图像融合方法 (57)摘要 本发明属于图像处理相关技术领域， 其公开 了一种微弱缺陷增强多角度图像融合方法， 方法 包括： 将多张不同角度的图像转化为弱缺陷图像 和强缺陷图像； 构建背景重构模块， 以提取强缺 陷图像中的背景信息； 构建缺陷增强模块， 以提 取强缺陷图像中的强缺陷信息； 构建图像融合模 块， 以背景重构模块和缺陷增强模块的中间输出 为约束对图像融合模块的中间输出进行融合获 得辨识度增强的融合图像； 构建多判别像素级对 抗模块； 构建综合损失函数， 以综合损失函数最 优为目标对综合模型进行训练， 获得训练完成的 综合模型； 将多角度图像输入综合模 型即可获得 对应的融合增强图像。 本申请可以提升缺陷可辨 识度， 解决了缺陷检测精度不高的问题， 极大的 提升检测精度。 权利要求书2页 说明书7页 附图4页 CN 114332034 A 2022.04.12 CN 114332034 A 1.一种微弱缺陷增强多角度图像融合方法， 其特 征在于， 所述方法包括： S1： 采用蒙版将多张不同角度的图像分别转 化为对应的弱缺陷图像和强缺陷图像； S2： 构建背景重构模块， 以提取多张不同角度的强缺陷图像 中的背景信息， 背景重构模 块包括重构编码器； S3： 构建缺陷增强模块， 以提取多张不同角度的强缺陷图像 中的强缺陷信息， 所述缺陷 增强模块包括 缺陷增强编码器； S4： 构建图像融合模块， 并以所述重构编码器和缺陷增强编码器的输出为约束对图像 融合编码器的输出进 行融合获得辨识度增强的融合图像， 所述图像融合模块包括图像融合 编码器； S5： 构建多判别像素级对抗模块， 以将所述融合图像和强缺陷图像进行对抗学习获得 融合增强图像， 所述多判别像素级对抗模块包括多个判别器； S6： 以所述背景重构模块、 缺陷增强模块、 图像 融合模块和多判别像素级对抗模块的综 合损失函数最优为 目标对所述背景重构模块、 缺陷增强模块、 图像融合模块和多判别像素 级对抗模块进行训练， 获得训练完成的综合模型； S7： 将多角度图像输入所述综合模型即可获得对应的融合增强图像。 2.根据权利要求1所述的方法， 其特征在于， 步骤S4中以所述重构编码器和缺陷增强编 码器的输出为约束对图像融合编码器的输出进行融合具体为： S41： 将所述重构编码器、 缺陷增强编码器以及图像 融合编码器的输出分别拆分成两部 分， 即第一部分和第二部分； S42： 采用重构编码器的第一部分约束所述图像 融合编码器 中的第一部分， 并采用缺陷 增强编码器中的第二部分约束所述图像融合编码器中的第二部分； S43： 将约束后的数据输入所述图像融合 解码器进行解码得到辨识度增强的融合图像。 3.根据权利要求1所述的方法， 其特征在于， 步骤S41中具体为将所述重构编码器、 缺陷 增强编码器以及图像融合编码器的输出按通道数分别拆分成两 部分。 4.根据权利要求3所述的方法， 其特征在于， 所述第 一部分和第 二部分的通道数之比为 1∶ 1或1∶2。 5.根据权利要求1所述的方法， 其特征在于， 所述背景重构模块还包括重构解码器， 所 述背景重构模块的损失函数Lrec为： 其中， Np为重复次数， Ili为不同角度的图像标记真值， i为图像编号， 为求期望值， 为重构解码器对重构编码器的输出解码后的重构背景图像， Iei为第i个图像的强缺陷图像， Iui为所述蒙版对第i个图像进行处 理时对应的无缺陷缺陷图像。 6.根据权利要求5所述的方法， 其特征在于， 所述缺陷增强模块还包括缺陷增强解码 器， 所述缺陷增强模块的损失函数Lenh为： 权　利　要　求　书 1/2 页 2 CN 114332034 A 2其中， 为缺陷增强解码器对缺陷增强编码器解码后的重构背景图像。 7.根据权利要求5或6所述的方法， 其特征在于， 所述图像融合模块还包括图像融合解 码器， 所述图像融合模块的损失函数Lfu为： 其中， 为图像融合 解码器对图像融合编码器的输出解码后的结果； 所述重构编码器的输出对图像融合编码器的输出进行约束的损失函数Lres为： 其中， Z11为重构编码器输出的第一部分， Z1′为所述图像融合编码器输出的第一部分； 所述缺陷增强编码器的输出对图像融合编码器的输出进行约束的损失函数为： 其中， Z22为缺陷增强编码器输出的第二部分， 为所述图像融合编码器输出的第二部分。 8.根据权利要求7所述的方法， 其特征在于， 所述多判别像素级对抗模块的损失函数 Ladv为： 其中， W与H为输入图像的行与列像素数量， 为增强图像判定为所期待真值的概 率， 为合成图像判定为所期望伪值的概 率， Dij(·)为判别器Dij预测值。 9.根据权利要求1或8所述的方法， 其特 征在于， 综合损失函数L 为： L＝ λ1Lrec+λ2Lres+λ3Lenh+λ4Lreh+λ5Lfu+λ6Ladv 其中， λ1， λ2， λ3， λ4， λ5， λ6为权重， Lrec为背景重构模块的损失函数， Lenh为缺陷增强模块 的损失函 数， Lfu为图像融合模块的损失函 数， Lres为重构编码器的输出对图像融合编码器的 输出进行约束的损失函数， Ladv为多判别像素级对抗模块的损失函数， Lreh为缺陷增强编码 器的输出对图像融合编码器的输出进行约束的损失函数。 10.根据权利要求1所述的方法， 其特征在于， 所述重构编码器、 缺陷增强编码器以及图 像融合编 码器均包括4个卷积层， 所述重构解码 器、 缺陷增强解码 器以及图像融合解码 器均 包括4个转置卷积层。权　利　要　求　书 2/2 页 3 CN 114332034 A 3