(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210353089.4 (22)申请日 2022.04.06 (65)同一申请的已公布的文献号 申请公布号 CN 114494023 A (43)申请公布日 2022.05.13 (73)专利权人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 朱树元　朱强　张浩彧　刘光辉　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 甘茂 (51)Int.Cl. G06T 3/40(2006.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 112070665 A,2020.12.1 1 审查员 苏俊杰 (54)发明名称 一种基于运动补偿与稀疏增强的视频超分 辨率实现方法 (57)摘要 本发明属于视频超分辨率和视频质量增强 领域， 具体提供一种基于运动 补偿与稀疏增强的 视频超分辨率实现方法， 用以有效提升视频超分 辨率的质量。 本发明在双向传播机制下构建光流 指导的运动补偿与空域稀疏增强的卷积神经网 络， 实现视频超分辨率信息的高效重建； 首先， 利 用光流指导可变形卷积获得更加准确的前向和 反向运动补偿信息； 其次， 结合前向和反向的时 序特征， 进行空域的稀 疏增强处理提高空域的细 节信息； 最后， 将前向和反向时序信息和空域稀 疏信息融合， 进而提升视频重建的质量。 综上所 述， 本发明在双向传播机制下， 引入光流指导运 动补偿与空域稀 疏增强， 能够显著提升视频时序 信息的获取与空域细节的增强， 从而提升视频超 分辨率的质量。 权利要求书2页 说明书7页 附图12页 CN 114494023 B 2022.07.29 CN 114494023 B 1.一种基于运动补偿与稀疏增强的视频超分辨率实现方法， 其特征在于， 包括以下步 骤： 步骤1. 数据预处 理； 将输入视 频抽取成连续图像序列V={I1 , I2 , I3 ,  …  , IT‑1 , IT}， 沿时间维度将相 邻三个图像序列帧划分为一个子序列、 依次得到子序列Vsub2={I1 , I2 , I3}、 Vsub3={I2 ,  I3 , I4}、…  、 Vsubt={It‑1 , It , It+1}、…  、 VsubT‑1={IT‑2 , IT‑1，IT}， 其中， t=2、 3、 ...、 T， T 为输入视频的图像序列帧总数； 步骤2. 将子序列Vsubt依次输入至 预训练视 频超分辨率网络， 由视频超分辨率网络输 出 对应的视频超分辨 率帧Yt； 所述视频超分辨率网络包括： 双向光流提取模块、 双向光流指导运动补偿模块、 空域稀 疏增强模块及上采样模块； 其中， 所述双向光流提取模块由前向光流提取模块与反向光流提取模块构 成， 所述前向光流 提取模块与反向光流提取模块采用相同网络结构， 包括： 2个特征提取单元、 K个迭代单元， 其中， 第1个迭代单元的输入为U1in1与U1in2， 第1个迭代单元的输出为U1out， 第k个迭代单元 采用相同网络结构， 第k个迭代单元的输入为Ukin1、 Ukin2与Ukin3， 第k个迭代单元的输出为 Ukout， k=2,3,...  ,K； 所述子序列Vsubt中图像序列帧It‑1与图像序列帧It作为前向光流提取 模块的输入， 图像序列帧It‑1与图像序列帧It分别经过特征提取单元后得到特征Ht‑1与特征 Ht， 特征Ht作为U1in1， 特征Ht‑1作为U1in2， 特征Ht‑1与特征Ht进行 Correlation运算后作为 Ukin3， U(k‑1)out作为Ukin2， 特征Ht作为Ukin1， 第K个迭代单元输出前向光流Ff t； 所述子序列 Vsubt中图像序列帧It+1与图像序列帧It作为反向光流提 取模块的输入， 反向光流提取模块输 出反向光 流Fb t； 所述双向光流指导运动补偿模块由前向光流指导运动补偿模块与反向光流指导运动 补偿模块构成， 前向光流指导运动补偿模块与反向光流指导运动补偿模块采用相同网络结 构， 具体为： 所述子序列Vsubt中图像序列帧It、 前向光流Ff t与前向时序特征Hf t‑1作为前向光 流指导运动补偿模块的输入， 前向光流Ff t与前向时序特征Hf t‑1进行对齐操作后、 与图像序 列帧It进行特征拼接得到H*t， H*t依次经过3个第一类卷积单元与CONV  3×3×54后得到 H**t， H**t与图像序列帧It进行特征拼接后依次经过4个第一类卷积单元与CONV  3×3×27+  Sigmoid后得到HM t， H**t与前向光流Ff t进行对应 位置元素相加得到HO t， HM t、 HO t与前向时序特 征Hf t‑1输入至Mo dulated DCN， Modulated DCN输出前向时序特征Hf t； 所述子序列Vsubt中图 像序列帧It、 反向光流Fb t与反向时序特征Hb t‑1作为反向光流指导运动补偿模块的输入， 反 向光流指导运动补偿模块输出反向时序特 征Hb t； 所述空域稀疏增强模块的网络结构 为： 所述子序列Vsubt中图像序列帧It、 前向时序特征 Hf t与反向时序特征Hb t作为空域稀疏增强模块的输入， 前向时序特征Hf t与反向时序特征Hb t 分别经过CONV  3×3×256+ CONV 1×1×256后得到H*f t与H*b t， 前向时序 特征Hf t与反向时 序特征Hb t输入稀疏模 板生成器分别得到H**f t与H**b t， H**f t与H**b t、 图像序列帧It进行特征 拼接得到HC t， HC t与H*f t、 H*b t、 图像序列帧It进行特征拼接得到H*C t； H*C t依次经过4个第二 类卷积单 元与CONV  3×3×64后得到时空增强特 征Et； 所述上采样模块对时空增强特征Et进行上采样操作得到上采样后的增强高分辨率帧 Rt， 图像序列帧It进行Bicubic的插值操作得到的高分辨率帧Bt， 将增强高分辨率帧Rt与高权　利　要　求　书 1/2 页 2 CN 114494023 B 2分辨率帧Bt进行相加得到 视频超分辨 率帧Yt。 2.按权利要求1所述基于运动补偿与稀疏增强的视频超分辨率实现方法， 其特征在于， 所述特征提取单元的网络 结构为： CONV  7×7×64+ RES×64+ RES×64+ RES×128+ RES× 128+ RES×192+ RES×192+CONV 3×3×256。 3.按权利要求1所述基于运动补偿与稀疏增强的视频超分辨率实现方法， 其特征在于， 所述第1个迭代单元的网络结构为： U1in1与U1in2分别经过arange+mesh grid+stack+Repeat 后得到U1*in1与U1*in2， U1*in1与U1*in2作对应位置元 素相减得到U1out。 4.按权利要求1所述基于运动补偿与稀疏增强的视频超分辨率实现方法， 其特征在于， 所述第k个迭代单元的网络结构为： Ukin1经过CONV  7×7×128+ CONV 3×3×64+ CONV 3× 3×64得到Uk*in1， Ukin2与Ukin3分别经过CONV  1×1×256+ CONV 3×3×128+ CONV 3×3× 128得到Uk*in2与Uk*in3， Uk*in2与Uk*in3进行特征拼接得到UkC， Uk*in1与UkC经过CONV  3×3× 128后得到Uk*C， Uk*C经过CONV  GRU 1×5后得到UkG， UkG与Uk*C经过CONV  GRU 5×1后得到 Uk*G， Uk*G经过CONV 3×3×256+ CONV 3×3×256+ CONV 1×1×2后得到Ukout。 5.按权利要求1所述基于运动补偿与稀疏增强的视频超分辨率实现方法， 其特征在于， 所述第一类卷积单 元的网络结构为： CONV  3×3×64+LeakuReLU  0.1。 6.按权利要求1所述基于运动补偿与稀疏增强的视频超分辨率实现方法， 其特征在于， 所述第二类卷积单元的网络结构为： 输入经过CONV  3×3×256+ CONV 3×3×256+ CONV 3 ×3×256+ CONV 3×3×256+ CONV 3×3×256后、 再与输入作Co ncatenate操作得到 输出。 7.按权利要求1所述基于运动补偿与稀疏增强的视频超分辨率实现方法， 其特征在于， 所述视频超分辨率网络的预训练过程为： 设置训练参数与损失函数， 采用Adam优化器基于 训练集对视频超分辨 率网络进行训练， 所述损失函数为： 其中， 表示损失函数， 表示视频超分辨率网络的输出， 表示标签， 表 示 的第i行、 第j列的像素值， 表示 的第i行、 第j列的像素值， N、 M分别表示图 像的高、 宽， ， ， 表示稀疏模板生成器。权　利　要　求　书 2/2 页 3 CN 114494023 B 3