(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211180054.1 (22)申请日 2022.09.27 (71)申请人 腾讯音乐娱乐科技 （深圳） 有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 梁乔惠　李超　洪国伟　董治　 姜涛　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 赖远龙 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) (54)发明名称 双目图像超分处理方法、 计算机设备和计算 机程序产品 (57)摘要 本申请涉及一种双目图像超分处理方法、 设 备和产品， 能够兼顾设备硬件性能和双目图像质 量。 所述方法包括： 获取待进行超分处理的初始 双目图像； 将初始双目图像中的左侧图像和右侧 图像输入到训练好的超分辨模型， 由超分辨模型 确定左侧图像和右侧图像各自的图像特征， 并分 别对左侧图像的图像特征和右侧图像的图像特 征进行注 意力处理， 根据处理结果获取预测的超 分辨双目图像， 其中， 注意力处理包括： 对图像特 征对应的特征矩阵进行分割， 得到多个矩阵区 域； 针对每个矩阵区域， 基于注意力机制对矩阵 区域中包含的元素进行注意力计算， 基于计算结 果确定矩阵区域的矩阵区域特征； 根据多个矩阵 区域的矩 阵区域特征确定注意力处理的处理结 果。 权利要求书3页 说明书13页 附图6页 CN 115496660 A 2022.12.20 CN 115496660 A 1.一种双目图像超分处 理方法， 其特 征在于， 所述方法包括： 获取待进行超分处 理的初始双目图像； 将所述初始双目图像中的左侧图像和 右侧图像输入到训练好的超分辨模型， 由所述超 分辨模型确定所述左侧图像和所述右侧图像各自的图像特征， 并分别对所述左侧图像的图 像特征和所述右侧图像的图像特征进 行注意力处理， 根据处理结果 获取预测的超分辨双目 图像， 其中， 所述注意力处 理包括： 对所述图像特 征对应的特 征矩阵进行分割， 得到多个矩阵区域； 针对每个矩阵区域， 基于注意力机制对所述矩阵区域中包含的元素进行注意力计算， 基于计算结果确定所述矩阵区域的矩阵区域特 征； 根据所述多个矩阵区域的矩阵区域特 征确定所述注意力处 理的处理结果。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述图像特征对应的特征矩阵进行 分割， 得到多个矩阵区域， 包括： 获取预设的滑窗和所述滑窗的移动步长， 所述滑窗的移动 步长小于所述滑窗的滑窗宽 度； 基于所述移动步长在所述图像特征对应的特征矩阵上移动所述滑窗， 并基于每次移动 后所述滑窗的位置， 确定多个矩阵区域。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述多个矩阵区域的矩阵区域特 征确定所述图像特 征的处理结果， 包括： 对所述多个矩阵区域的矩阵区域特征进行融合， 并基于融合后的矩阵区域特征， 得到 所述注意力处 理的处理结果。 4.根据权利要求1所述的方法， 其特征在于， 所述超分辨模型包括第 一超分处理单元和 第二超分处 理单元； 所述分别对所述左侧图像的图像特征和所述右侧图像的图像特征进行注意力处理， 根 据处理结果获取 预测的超分辨双目图像， 包括： 将所述左侧图像的图像特征输入所述第 一超分处理单元， 由所述第 一超分处理单元对 所述左侧图像的图像特征进行注意力处理， 根据所述左侧图像的处理结果， 生成预测的超 分辨左侧图像； 以及， 将所述右侧图像的图像特征输入所述第 二超分处理单元， 由所述第 二超分处理单元对 所述右侧图像的图像特征进行注意力处理， 根据所述右侧图像的处理结果， 生成预测的超 分辨右侧图像； 基于所述预测的超分辨左侧图像和预测的超分辨右侧图像， 得到预测的超分辨双目图 像。 5.根据权利要求4所述的方法， 其特征在于， 所述第 一超分处理单元包括级联的多个注 意力处理模块； 所述将所述左侧图像的图像特征输入所述第一超分处理单元， 由所述第一 超分处理单元对所述左侧图像的图像特 征进行注意力处 理， 包括： 将所述左侧图像的图像特征输入到所述第 一超分处理单元， 由所述级联的多个注意力 处理模块中的后一注意力处理模块依 次对前一注意力处理模块输出的处理结果进行注意 力处理， 得到所述注意力处理的处理结果； 所述第一超分处理单元中首个注意力处理模块 的输入为所述左侧图像的图像特 征；权　利　要　求　书 1/3 页 2 CN 115496660 A 2对所述第一超分处理单元各个注意力处理模块输出的处理结果进行融合， 得到所述左 侧图像注意力处 理的处理结果。 6.根据权利要求4所述的方法， 其特征在于， 所述第 二超分处理单元包括级联的多个注 意力处理模块； 所述将所述右侧图像的图像特征输入所述第二超分处理单元， 由所述第二 超分处理单元对所述右侧图像的图像特 征进行注意力处 理， 包括： 将所述右侧图像的图像特征输入到所述第 二超分处理单元， 由所述级联的多个注意力 处理模块中的后一注意力处理模块对前一注意力处理模块输出的处理结果进行注意力处 理， 得到所述注意力处理的处理结果； 所述第二超分处理单元中首个注意力处理模块的输 入为所述右侧图像的图像特 征； 对所述第二超分处理单元各注意力处理模块输出的处理结果进行融合， 得到所述右侧 图像注意力处 理的处理结果。 7.根据权利要求1所述的方法， 其特征在于， 所述超分辨模型包括特征交互单元； 所述 由所述超分辨模型确定所述左侧图像和所述右侧图像各自的图像特 征， 包括： 从所述左侧图像中提取所述左侧图像的初始图像特征， 并从所述右侧图像中提取所述 右侧图像的初始图像特 征； 将所述左侧图像的初始图像特征和右侧图像的初始图像特征输入到所述特征交互单 元， 由所述特征交互单元识别所述右侧图像的初始图像特征中与所述左侧图像关联的右侧 图像关联特征， 以及识别所述左侧图像的初始图像特征中与所述右侧图像关联的左侧图像 关联特征； 对所述左侧图像的初始图像特征和所述右侧图像关联特征进行融合， 得到所述左侧图 像的图像特征， 以及对所述右侧图像的初始图像特征和所述左侧图像关联特征进行融合， 得到所述右侧图像的图像特 征。 8.根据权利要求7所述的方法， 其特征在于， 所述超分辨模型中还包括特征识别单元， 所述特征识别单 元中包括级联的多个残差块； 所述从所述左侧图像中提取所述左侧图像的初始图像特征， 并从所述右侧图像中提取 所述右侧图像的初始图像特 征， 包括： 将所述左侧图像和右侧图像输入到所述特征识别单元， 由所述特征识别单元分别对所 述左侧图像和右侧图像进 行从首个残差块到最后一个残差块的特征传递， 得到所述左侧图 像的初始图像特 征和所述右侧图像的初始图像特 征。 9.根据权利要求1 ‑8任一项所述的方法， 其特征在于， 所述超分辨模型基于如下步骤训 练得到： 获取训练双目图像； 将所述训练双目图像中的左侧训练图像和 右侧训练图像输入到待训练 的超分辨模型， 由所述待训练的超分辨模型确定所述左侧训练图像和所述右侧训练图像各自的图像特征， 并分别对所述左侧训练图像的图像特征和所述右侧训练图像的图像特征进行所述注意力 处理， 根据处 理结果获取 预测的训练超分辨双目图像； 根据所述训练超分辨双目图像和预设的超分辨双目图像标签， 调整所述待训练 的超分 辨模型的参数， 直到满足训练结束条件， 得到所述训练好的超分辨模型。 10.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在权　利　要　求　书 2/3 页 3 CN 115496660 A 3