(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210472649.8 (22)申请日 2022.04.29 (71)申请人 重庆理工大 学 地址 400000 重庆市巴南区红光大道69号 (72)发明人 王勇　蒋莉君　 (74)专利代理 机构 成都东唐智 宏专利代理事务 所(普通合伙) 51261 专利代理师 晏辉 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) (54)发明名称 一种能同时平衡上下文信息和空间细节的 低光图像增强方法 (57)摘要 本发明公开了一种能同时平衡上下文信息 和空间细 节的低光图像增强方法， 涉及图像处理 技术领域。 本发明利用CIRNet 子网络和SIRNet子 网络恢复图像的上下文信息和空间细节， 利用上 下文‑空间特征融合模块融合两部分信息， 包括 以下步骤： S1.构建配对的数据集， 数据集包括低 光照图像和正常光照图像， 其中每张低光照图像 Ilow对应同一场景的正常光照图像Iref； S2.输入 低光图像Ilow到网络中； S3.提取低光图像Ilow的 浅层特征。 本发明通过新上下文 ‑空间特征融合 模块， 该模块利用编解码网络学习到的多尺度图 像语义特征和全分辨率网络学习到的输入图像 和输出图像间的点对点关系进行增强， 显著提升 了模型的恢复 效果。 权利要求书2页 说明书9页 附图3页 CN 114897718 A 2022.08.12 CN 114897718 A 1.一种能同时平衡上下文信息和空间细节的低光图像增强方法， 其特征在于， 利用 CIRNet子网络和SIRNet子网络恢复图像的上下文信息和空间细节， 利用上下文 ‑空间特征 融合模块融合两 部分信息， 包括以下步骤： S1.构建配对的数据集， 所述数据集包括低光照图像和正常光照图像， 其中每张低光照 图像Ilow对应同一场景的正常光照图像Iref； S2.输入低光图像Ilow到网络中； S3.提取低光图像Ilow的浅层特 征； S4.CIRNet分支利用多尺度特征学习方式巧妙地提取上下文语义信息， 编解码网络包 含3个encoder(EB1， EB2和EB3)和3个decoder(DB1， DB2和DB3)。 每个编码模 块以不同尺度的特 征作为输入， 每 个解码模块输出不同尺度的恢复图像； S5.SIRNet分支利用全分辨 率子网络保留输入图像到 输出图像的点到点 位置信息； S6.上下文‑空间特征融合模块CSF F融合两个分支的输出 特征； S7.输出最终增强的低光图像。 2.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 在S3中， 所述浅层特征提取模块使用一个卷积模块和一个通道注意力模 块， 公式如下： fshallow＝fCAB(fConv(Ilow))。 3.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 在S4中， 所述CIRNet分支采用UNet ‑like网络恢复图像的上下文信息， 所述 encoder和decoder都由两个通道 注意力模块组成； 所述编码阶段由三个encoder组成， 第一个encoder以所提取的浅层特征作为输入， 其 余两个encoder以上一个encoder的输入和Focus模块逐像素 下采样的特 征作为输入； 多尺度浅层特 征和Focus采样特 征通过特征注意模块进行融合后输入到编码器中， 特征注意模块以两个特征作为输入， 将压缩无用信 息后的特征输入到一个卷积模块中 得到精炼的特征， 该精炼后的特征和原始输入特征进行融合得到最后输入到encoder中的 特征， 公式如下： fconcat＝[fFocus,fshallow] 其中， 每个decoder之前通过监督注意模块输出增强的多尺度恢复图像， 同时向下一个 每个encoder传入当前 特征中有用的信息， 公式如下： 4.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 在S5中， 所述SIRNet分支由三个原始分辨率单元组成， 每个原始分辨率单 元由1个通道 注意力模块组成； 网络中所有特征和输入图像尺寸相同， 以恢 复输入图像到输出图像的点对点的精细位权　利　要　求　书 1/2 页 2 CN 114897718 A 2置关系， 公式如下： 5.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 在S6中， 通过初步融合特征经过一个1 ×1卷积层， 一个ReLu激活函数层和 一个3×3卷积层得到精炼的融合特征， 该特征分别经过设计好的提取上下文信息的注意力 模块和提取空间位置细节的注意力模块， 分别经过sigmoid激活函数， 得到re ‑calibrate的 特征， 通过像素相乘加权 到原始特征中以分别精炼原输入特 征的上下文信息和空间特 征。 6.根据权利要求5所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 所述上 下文‑空间特征融合模块主 要包括： 利用像素相加融合初始不同语义内容的特 征； 通过上下文信息注意力模块和空间细节 注意力模块对融合特 征加权； 使用加权信息对初始输入特 征进行增强。 7.根据权利要求6所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 所述上下文信息注意力模块将 融合的特征分别通过全局平均池化层和全 局最大池化层进行处 理， 再通过一个卷积层和激活层得到能注意上 下文信息的权 重。 8.根据权利要求6所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 所述空间细节注意力模块将融合的特征先后输入到卷积层， 激活层和卷积 层， 得到注意空间细节的权 重。 9.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方 法， 其特征在于： 还 包括低光增强网络， 所述低光增强网络的损失函数如下： LSSIM＝1‑SSIM(Ienhanced,Iref) 权　利　要　求　书 2/2 页 3 CN 114897718 A 3