(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210485810.5 (22)申请日 2022.05.06 (65)同一申请的已公布的文献号 申请公布号 CN 114584675 A (43)申请公布日 2022.06.03 (73)专利权人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 专利权人 华中科技大 学协和深圳医院 (72)发明人 周蔚　邹静　刘翼豪　李英　董超　 乔宇　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　成丹(51)Int.Cl. H04N 5/21(2006.01) H04N 5/225(2006.01) G16H 30/40(2018.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 110634108 A,2019.12.31 CN 112365551 A,2021.02.12 WO 2022011571 A1,202 2.01.20 审查员 张鑫垚 (54)发明名称 一种自适应 视频增强方法和装置 (57)摘要 本发明公开一种自适应视频增强方法和装 置， 该方法包括： 采集目标视频数据； 将目标视频 数据输入预训练的视频增强模型， 获得增强视 频， 其中训练样本集的获取包括： 构建生成对抗 网络， 该生成对抗网络包括生成器和判别器， 生 成器以真实高质量视频和退化特征作为输入， 生 成模拟低质量视频， 判别器用于判断模拟低质量 视频与真实低质量视频之间的拟合程度； 训练所 述生成对抗网络， 以使模拟低质量视频与真实低 质量视频之间的拟合程度满足设定损失标准； 将 经训练的生成器作为视频退化学习模 型， 以针对 采集的高质量视频生成具有不同退化分布特征 的低质量视频， 进而构建出所述训练样本集。 利 用本发明能够提升目标视频的视觉清晰度以及 保真度。 权利要求书2页 说明书8页 附图1页 CN 114584675 B 2022.08.02 CN 114584675 B 1.一种自适应视频增强方法， 包括： 采集目标视频 数据； 将所述目标视频数据输入到视频增强模型， 获得增强视频， 所述视频增强模型利用训 练样本集训练获得， 该训练样本集的每条样本反映高质量视频与低质量视频之 间的对应关 系， 且根据以下步骤获得： 构建生成对抗网络， 该生成对抗网络包括生成器和判别器， 所述生成器以真实高质量 视频和对应的退化特征作为输入， 生成模拟低质量视频， 所述判别器用于判断所生成的模 拟低质量视频与真实低质量视频之间的拟合 程度； 训练所述生成对抗网络， 以使生成的模拟低质量视频与真实低质量视频之间的拟合程 度满足设定损失标准； 将经训练 的生成器作为视频退化学习 模型， 以针对采集的高质量视频生成具有不同退 化分布特 征的低质量视频， 进 而构建出 所述训练样本集； 其中， 所述退化特征利用第一退化分布提取器提取， 该第一退化分布提取器以真实低 质量视频作为输入， 提取反映不同退化类型和不同退化 程度的退化特 征。 2.根据权利要求1所述的方法， 其特征在于， 所述第 一退化分布提取器是分辨率逐渐减 少， 同时通道数 逐渐增加的卷积神经网络 。 3.根据权利要求1所述的方法， 其特征在于， 所述视频增强模型包括分频特征提取器， 第二退化分布提取器、 自适应双向循环网络和时频特征融合模块， 其中， 分频特征提取器对 输入视频按照频域进行分解， 获得不同尺度的多个频率分量； 第二退化分布提取器用于从 输入视频中提取对应的退化特征； 自适应双向循环网络针对多个频率分量对连续帧的特征 进行时序建模并且经 由退化特征 的调制， 获得针对不同频率分量的复原结果； 时频特征融 合模块用于融合复原结果中的时域特 征和频域特 征， 获得相对于 输入视频的增强视频。 4.根据权利要求3所述的方法， 其特征在于， 所述多个频率分量通过对输入图像施加不 同的程度的高斯模糊核获得， 模糊后的低频分量图像和高频分量图像分别表示 为： 其中， 代表卷积操作， 是低频分量图像， 是高频分量图像， ki表示高斯模糊 核， 取值为{k1， k2，…， kn}， k1模糊程度最低， kn模糊程度最高， I表示原 始的输入图像。 5.根据权利要求3所述的方法， 其特征在于， 在训练所述视频增强模型过程中， 所述分 频特征提取器和所述自适应双向循环网络对于不同的频率分量共享 参数。 6.根据权利要求3所述的方法， 其特征在于， 在训练所述视频增强模型过程中， 对不同 频率分量的复原结果进行分频监督， 所使用损失函数中包含保真损失项， 该保真损失项是 针对不同频率分量施加的L1或者 L2损失。 7.根据权利要求1所述的方法， 其特征在于， 所述不同退化类型包括烟、 雾、 噪声、 模糊 和压缩。 8.一种自适应视频增强装置， 包括： 视频采集单 元； 用于采集目标视频 数据；权　利　要　求　书 1/2 页 2 CN 114584675 B 2视频增强单元， 用于将所述目标视频数据输入到视频增强模型， 获得增强视频， 其中， 所述视频增强模型利用训练样本集训练获得， 每条样本反映高质量视频与低质量视频之间 的对应关系； 样本采集单 元： 用于根据以下步骤获取 所述训练样本集： 构建生成对抗网络， 该生成对抗网络包括生成器和判别器， 所述生成器以真实高质量 视频和退化特征作为输入， 生成模拟低质量视频， 所述判别器用于判断所生成的模拟低质 量视频与真实低质量视频之间的拟合 程度； 训练所述生成对抗网络， 以使所生成的模拟低质量视频与真实低质量视频之间的拟合 程度满足设定标准； 将经训练 的生成器作为视频退化学习 模型， 以针对采集的高质量视频生成具有不同退 化分布特 征的低质量视频， 进 而构建出 所述训练样本集； 其中， 所述退化特征利用第一退化分布提取器提取， 该第一退化分布提取器以真实低 质量视频作为输入， 提取反映不同退化类型和不同退化 程度的退化特 征。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 该计算机程序被处理器执 行时实现根据权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114584675 B 3