(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111651023.5 (22)申请日 2021.12.3 0 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 粘春湄　方瑞东　陈瑶　施晓迪　 杜亚鹏　江东　林聚财　殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. H04N 19/51(2014.01) G06T 7/00(2017.01) (54)发明名称 一种端到端的视频压缩 方法、 装置和计算机 可读存储介质 (57)摘要 本申请公开了一种端到端的视频压缩 方法、 装置和计算机可读存储介质， 该方法包括： 基于 当前帧图像对应的参考帧库中各参考帧的质量 信息， 从参考帧库中选取出第一参考帧图像； 基 于第一参考帧图像对当前帧图像进行运动估计， 得到运动信息； 基于运动信息， 对当前帧图像进 行压缩处理， 得到当前帧图像的压缩数据。 通过 上述方式， 本申请能够优化端到端视频压缩的效 果。 权利要求书4页 说明书10页 附图9页 CN 114513670 A 2022.05.17 CN 114513670 A 1.一种端到端的视频压缩方法， 其特 征在于， 包括： 基于当前帧图像对应的参考帧库中各参考帧的质量信 息， 从所述参考帧库中选取出第 一参考帧图像； 基于所述第一 参考帧图像对所述当前帧图像进行运动估计， 得到运动信息； 基于所述运动信息， 对所述当前帧图像进行压缩处理， 得到所述当前帧图像的压缩数 据。 2.根据权利要求1所述的端到端的视频压缩方法， 其特征在于， 所述基于所述运动信 息， 对所述当前帧图像进行压缩处 理， 得到所述当前帧图像的压缩数据的步骤， 包括： 采用压缩模型基于所述运动信息， 对所述当前帧图像进行压缩处理， 得到所述当前帧 图像的压缩数据； 其中， 所述压缩模型是基于训练数据训练 的， 所述训练数据包括样本图像， 所述压缩模 型用于对所述样本图像进行处理， 得到重建样本图像； 所述压缩模型 的损失函数包括至少 两个子损失函数， 所述压缩模型的训练过程包括多个训练阶段， 在每个所述训练阶段， 采用 一个所述子损失函数计算所述样本图像的损失值， 所述子损失函数包括所述样本图像与所 述重建样本图像之间的重建误差以及编码码率， 在至少一个所述训练阶段， 所述重建误差 的权重、 所述编码 码率的权 重与所述样本图像的帧数满足预设规 律。 3.根据权利要求2所述的端到端的视频压缩方法， 其特征在于， 所述参考帧库包括至少 两帧参考帧图像， 所述从所述 参考帧库中选取 出第一参考帧图像的步骤， 包括： 从所述至少两帧参 考帧图像中任意筛 选出一个参 考帧图像； 若筛选出的参考帧图像的质量评分大于预设分值， 则将所述筛选出的参考帧图像确定 为所述第一 参考帧图像； 若筛选出的参考帧图像的质量评分不大于所述预设分值， 则返回所述从所述至少两帧 参考帧图像中任意筛 选出一个参 考帧图像的步骤。 4.根据权利要求2所述的端到端的视频压缩方法， 其特 征在于， 所述压缩模型还用于对所述样本 图像进行处理， 得到预测样本 图像， 所述至少两个子 损失函数包括第一子损失函数与第二子损失函数， 所述第一子损失函数包括所述样本图像 与所述预测样本图像之间的预测误差、 所述重建误差以及所述编码码率， 所述第二子损失 函数包括所述重建误差以及所述编码码率， 在所述第二子损失函数对应的训练阶段， 所述 训练阶段包括第一子训练阶段与第二子训练阶段， 所述第一子训练阶段中的重 建误差的权 重大于所述第二子训练阶段中的重 建误差的权重， 所述第一子训练阶段中的预测误差的权 重小于所述第二子训练阶段中的预测误差的权 重。 5.根据权利要求 4所述的端到端的视频压缩方法， 其特 征在于， 所述方法还 包括： 采用所述第一子损失函数对所述重建误差与所述编码码率进行处理， 得到第一损失 值； 基于所述第一损失值， 判断所述压缩 模型是否满足第一预设收敛 条件； 若否， 则返回所述采用所述第 一子损失函数对所述重建误差与 所述编码码率进行处理 的步骤， 直至所述压缩 模型满足所述第一预设收敛 条件； 若是， 则采用所述第二子损 失函数对所述预测误差、 所述重建误差与所述编码码率进 行处理， 得到第二损失值；权　利　要　求　书 1/4 页 2 CN 114513670 A 2基于所述第二损 失值， 判断所述压缩模型是否满足第二预设收敛条件； 若所述压缩模 型不满足所述第二预设收敛条件， 则返回采用所述第二子损失函数对所述预测误差、 所述 重建误差与所述编码码率进行处理， 得到第二损失值的步骤， 直至所述压缩模型满足所述 第二预设收敛 条件。 6.根据权利要求5所述的端到端的视频压缩方法， 其特征在于， 所述采用所述第 一子损 失函数对所述重建误差与所述编码 码率进行处 理， 得到第一损失值的步骤， 包括： 对所述预测样本图像与所述样本图像进行失真计算， 得到所述预测误差； 对所述重建样本图像与所述样本图像进行失真计算， 得到所述重建误差； 对所述预测误差、 所述重建误差以及所述编码码率进行加权计算， 得到所述第一损 失 值； 其中， 在所述压缩模型不满足所述第 一预设收敛条件时， 对所述预测误差的权重、 重建 误差的权 重以及所述编码 码率的权 重进行调整。 7.根据权利要求5所述的端到端的视频压缩方法， 其特征在于， 所述采用所述第 二子损 失函数对 所述预测误差、 所述重 建误差与所述编码码率进行 处理， 得到第二损失值的步骤， 包括： 对所述重建误差与所述编码 码率进行加权计算， 得到所述第二损失值； 其中， 在所述压缩模型不满足所述第二预设收敛条件时， 对所述编码码率的权重以及 所述重建误差的权 重进行调整。 8.根据权利要求7所述的端到端的视频压缩方法， 其特征在于， 所述在所述压缩模型不 满足所述第二预设收敛条件时， 对所述编 码码率的权重以及所述重 建误差的权重进行调整 的步骤， 包括： 判断所述样本图像的帧数 是否小于预设帧数； 若否， 则将所述编码码率的权重上调第一预设数值， 将所述重建误差下调第二预设数 值； 若是， 则将所述编码码率的权重下调第三预设数值， 将所述重建误差上调第 四预设数 值。 9.根据权利要求2所述的端到端的视频压缩方法， 其特征在于， 所述采用压缩模型基于 所述运动信息， 对所述当前帧图像进 行压缩处理， 得到所述当前帧图像的压缩数据的步骤， 包括： 基于所述运动信 息对所述第 一参考帧图像进行运动补偿处理， 得到所述当前帧图像对 应的预测帧图像； 基于所述预测帧图像对所述当前帧图像进行残差计算， 得到残差信息； 基于所述残差信息与所述运动信息， 对所述当前帧图像进行压缩处理， 得到所述压缩 数据。 10.根据权利要求9所述的端到端的视频压缩方法， 其特征在于， 所述基于所述第一参 考帧图像对所述当前帧图像进行运动估计， 得到运动信息的步骤， 还 包括： 在所述第一参考帧图像为多个时， 分别利用每个所述第 一参考帧图像对所述当前帧图 像进行运动估计， 得到多个所述 运动信息 。 11.根据权利要求10所述的端到端的视频压缩方法， 其特征在于， 所述基于所述运动信权　利　要　求　书 2/4 页 3 CN 114513670 A 3