(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211067044.7 (22)申请日 2022.09.01 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 薛昕惟　刘日升　王祎　樊鑫　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 戴风友 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) (54)发明名称 基于对齐移动特征与在线重 降质学习的视 频去雨方法 (57)摘要 本发明属于计算机视觉领域， 涉及基于对齐 移动特征与在线重降质学习的视频去雨方法。 本 发明首先利用全新设计的特征对齐、 特征移动和 特征融合模块来构成视频去雨网络， 从而可以充 分利用视频中冗余的时序信息。 其中特征对齐模 块利用了 形变卷积、 光流和膨胀卷积等多种模块 来对齐视频相邻帧的特征， 从而有利于之后阶段 特征的有效融合。 在特征对齐模块之后， 本发明 创造性地引入了特征移动模块， 可以显式地交换 不同时间位置的特征， 从而使得每一帧的特征都 包含相邻帧的特征， 有利于时序特征的整合。 最 后本发明利用注意力机制和残差结构设计了一 个紧凑的特征融合模块来有效整合时空特征并 重建去雨后的视频帧。 权利要求书2页 说明书4页 附图7页 CN 115439360 A 2022.12.06 CN 115439360 A 1.基于对齐移动特 征与在线重降质学习的视频去雨方法， 其特 征在于， 步骤如下： 步骤一、 基于形变卷积、 膨胀卷积与光 流结合的时序特 征对齐模块； 首先， 利用卷积层将目标帧和其相邻帧提取成特 征： Ft＝Conv(Rt)， Ft+n＝Conv(Rt+n)， 其中： Rt和Rt+n表示输入的带有雨痕 的目标帧和其邻近帧， n取值 ‑1或者+1， 表示前后两 帧， Conv表示卷积层， Ft和Ft+n表示提取得到的特征； 然后利用两 帧间的光流将邻近 帧初步 对齐到目标帧， 获得初步对齐后的邻近帧： 其中oft→t+n表示估计的两帧间的光流， Warp表示利用光流来对齐相邻帧的操作， 表示初步对齐后的相邻帧； 然后本发明提出采用多膨胀率的膨胀卷积模块 来估计用于形变卷积对齐的偏移量： 其中DilatedConv表示本发明提出的膨胀卷积块， 它的输入是初步对齐后的相邻帧与 目标帧的特 征， ΔP表示估计得到的偏移量； 将估计的偏移量和光流相加用于形变卷积对齐， 通过光流引导形变卷积， 避免了训练 过程中形变卷积不稳定的情况的发生： 其中DeFormConv表示标准的形变卷积的操作， 表示经过形变卷积对齐后的特 征； 步骤二、 时序特 征移动模块； 本发明提出利用特征移动模块来进一步显式地利用时序信 息； 特征移动模块会沿时间 轴将每一视频帧提取的特征的前[0： f]通道往 前移， 将最后[c ‑f： c]通道往后移动， 其中c表 示一个视频帧所提取的特 征的数目； 步骤三、 时序特 征融合模块； 本发明利用残差结构和通道注意力 机制设计了时序 特征融合模块； 时序 特征融合模块 由残差块级 联组成， 级 联的残差块的数目至少是5个， 每个残差块由两层带激活函数的卷积 层和一个通道注意力层级联组成， 残差块的输出与输入之间有残差连接直接相加， 防止深 度网络的梯度在反向传播过程中逐渐消失， 残差块内部的卷积层的卷积核全部统一为3 × 3； 步骤四、 在线重降质学习策略； 为了提升提出的视频去雨网络的泛化 能力， 本发明提出在线重降质学习策略来利用真 实的数据来辅助训练去雨网络； 首先利用带有标签的合成数据来训练网络， 直至收敛； 接下 来， 利用该网络去除真实视频的雨痕， 获得无雨视频， 作为这部分数据的伪标签； 之后将估 计的真实雨 痕进行数据增广后与无雨视频相加作为新的训练集； 之后利用该训练集与伪标 签来微调去雨网络 。 2.如权利要求1所述的基于对齐移动特征与在线重降质学习的视频去雨方法， 其特征 在于， 所述的步骤二中， c的取值范围为32 ～128。权　利　要　求　书 1/2 页 2 CN 115439360 A 23.如权利要求1或2所述的基于对齐移动特征与在线重降质学习的视频去雨方法， 其特 征在于， 所述的步骤二中， f＝c /8。 4.如权利要求1或2所述的基于对齐移动特征与在线重降质学习的视频去雨方法， 其特 征在于， 所述的步骤一中， 所述的Conv表 示卷积层， 其卷积核大小为3， 输入通道数是3， 输出 通道数是64， Ft和Ft+n表示提取得到的特 征， 分别是64 通道。 5.如权利要求3所述的基于对齐移动特征与在线重降质学习的视频去雨方法， 其特征 在于， 所述的步骤一中， 所述的Conv表示卷积层， 其卷积核大小为3， 输入通道数是3， 输出通 道数是64， Ft和Ft+n表示提取得到的特 征， 分别是64 通道。权　利　要　求　书 2/2 页 3 CN 115439360 A 3