(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210383384.4 (22)申请日 2022.04.12 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号数学与信息学院6 38 (72)发明人 王美华　柯凡晖　廖磊　 (74)专利代理 机构 广州博联知识产权代理有限 公司 44663 专利代理师 王洪江 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/40(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) (54)发明名称 一种融合注意力单幅图像去雨方法 (57)摘要 本发明涉及一种融合注意力单幅图像去雨 方法， 包括： 首先将输入图像进行批归一化处理， 然后输入到三维注意力机制与残差密集块结构 相结合的编码器网络得到高维特征； 使用 Transformer机制计算全局特征关联性； 使用三 维注意力残差密集块构建的解码器将特征矩 阵 逐级还原到原始输入图像大小， 得到输出图像； 针对去雨过程中算法导致的图像结构信息和细 节高频信息被抹除问题， 提出将多尺度结构性损 失和常用去雨损失函数结合参与去雨网络训练。 本发明针对单幅有雨图像进行去雨都能得到更 高质量的去雨图像。 本发明结合了三维注意力机 制、 Transformer和编 ‑解码器架构， 可更好提高 网络去雨 性能。 权利要求书6页 说明书12页 附图2页 CN 114881871 A 2022.08.09 CN 114881871 A 1.一种融合注意力单幅图像去雨方法， 其特 征在于： 包括以下步骤： S1)、 构建一个包含三维注意力、 Transformer和编 ‑解码器的神经网络架构， 所述的神 经网络架构包含编码器、 中间层和 解码器； 所述的编码器和解码器主要由卷积层和全局残 差密集块构成， 使用卷积进行下采样操作， 使用反卷积作为上采样操作； 使用对应特征图矩 阵相加融合编 码器和解码 器路径特征； 每个全局残差块由两个三 维注意力局部残差密集块 和残差连接组成， 每个三维注意力局部残差密集块使用密集连接层、 三维注意力特征融合 层和残差连接构成； S2)、 对数据集有雨 图像Irainy和对应的无雨 图像Iclean标签对进行格式化处理， 并基于 pytorch网络框架训练去雨网络中的权 重参数； 网络的所有参数在 pytorch框架下经过有监督训练学习获得， 具体训练方法为： 在获得有雨图像及其对应无雨图像标签对后， 选择其作为训练集， 定义的网络优化目 标为： arg min∑Θ(F(Xrainy， Q)， Yclean)； 式中， Q表示需要学习的所有 参数， Xrainy和Yclean分别为训练数据集中的有雨图像和对应 无雨图像标签对； F( ·， Q)表示神经网络学习到的从有雨图像到无雨图像的映射， Θ( ·)为 本文总损失函数； S3)、 将训练完成的神经网络参数提取并装载到步骤S1)构建的网络中， 以提取图像特 征、 计算特 征间相互关系， 并调整数据分布， 从而保证网络的去雨能力； S4)、 对于一张有雨图像测试输入Irainy， 直接输入至步骤S1)构建的网络中， 分别得到 和 其中 为最终对应去雨图像输出， 和 分别 为第1、 2、 3尺度产生用于深监督训练的中间去雨图像， 其图像宽高分别为原始输入有雨图 像1/2、 1/4和1/8； 对于测试图像Xrainy的处理， 具体包括以下步骤： S411)、 给定有雨测试图像Xrainy， 以及已经装载训练完成的权重去雨网络， 首先将有雨 测试图像Xrainy进行输入规范化到 0‑1数值范围； S412)、 将输入规范化后的图像分别依次通过编码器、 中间层和解码器， 同时辅以卷积 操作、 三维注 意力机制处理和Transformer机制处理进 行图像特征提取、 增强显著特征和抑 制特征任务无关区域和计算特 征全局关联性 等操作； 对于测试图像Xrainy的处理， 具体包括以下步骤： S421)、 给定有雨测试图像Xrainy， 以及基于训练好的网络， 先经过输入规范化， 将 其数据 规范化到 0‑1范围内， 用于网络 输入； S422)、 依次通过网络的编码器、 中间层和解码器， 同时辅以三维注意力和Transformer 机制， 以进行背景纹 理提取、 非线性映射、 高级特 征提取及雨线区域复原等操作。 2.根据权利要求1所述的一种融合注意力单幅图像去雨方法， 其特征在于： 步骤S1)中， 所述的中间层包 含Patch特征嵌入操作和Transformer层； 所述的Patch特征嵌入操作为使用神经网络将向量化的2D特征Patch映射进线性空间； 在将二维特征进行空间位置信息编码时， 为保存原始特征相对空间信息， 将额外使用位置 嵌入信息矩阵， 其与二维特 征相加， 具体表达为：权　利　要　求　书 1/6 页 2 CN 114881871 A 2式中， z0是加入空间位置信息编码的2D特征Patch， 为第N个大小为P ×P的2D特征 Patch， 为patch嵌入映射神经网络权重， 为空间位置信息编码， P ×P为单个特征块宽高乘积， C为特征图通道 数； 变换之后特征总块数为 其中， H和W 分别为特 征图高和宽； 所述的Transformer层由多个Transformer级联而成， 单个Transformer包括多头自注 意力机制和多头感知器前向神经网络， 具体表达为： 式中， 为Transformer层输入特征， τ( ·)为多头注意力(Multihead  Self‑ Attention， MSA)机制计算； ψ(·)为多层感知器(Multi layer Perceptron， MLP)神经网络， 为层规范化操作； 和 分别为Transformer机制中间计算结果特 征和其输出计算结果特 征。 3.根据权利要求2所述的一种融合注意力单幅图像去雨方法， 其特征在于： 所述的多头 注意力(Multihead  Self‑Attention， MSA)机制计算， 具体表达为： τ(Q， K， V)＝ WO[heak1，…， headh]； 式中， Q、 K和V分别为自注意力的query矩阵、 key矩阵和value矩阵， Qi、 Ki和Vi分别为多 头自注意力第i头自注意力的query矩阵、 k ey矩阵和value矩阵， WO为神经网络权重， headh为 第h头特征图， d为多头注意力中每头特 征维度； 所述的多层感知器(Multi layer Perceptron， MLP)神经网络， 具体表达为： ψ(·)＝ω(0， xW1+b1)W2+b2； 式中， ω(·)为ReLU激活函数， W1和W2为感知器权 重， b1和b2为感知器偏置 。 4.根据权利要求1所述的一种融合注意力单幅图像去雨方法， 其特征在于： 步骤S1)中， 使用Skip ‑Connection融合编码器和解码器对应 路径特征， 对应层 级特征图矩阵相加， 并使 用卷积操作融合特征， 激活函数为Leaky  ReLU； 其中， 水平负半轴的斜率设置为0.1， 输出层 直接使用卷积 操作获取最终去雨结果， 不 额外使用激活函数。 5.根据权利要求1所述的一种融合注意力单幅图像去雨方法， 其特征在于： 步骤S1)中， 所述的三维注意力局部残差密集块的密集连接层： 除第一层卷积层外， 每一个卷积层将会 与先前每一层进行通道方向拼接， 并使用卷积 操作特征融合， 后接 激活函数； 具体为： 式中， 为第 个卷积层产生的特征图， X0为当前局部残差密集块输入， σ( ·)为Leaky  权　利　要　求　书 2/6 页 3 CN 114881871 A 3