(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111637015.5 (22)申请日 2021.12.2 9 (71)申请人 新智我来网络科技有限公司 地址 100102 北京市朝阳区望京东路1号 (72)发明人 李振飞　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 代理人 陈俊宏 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于知识蒸馏的联合学习训练方法、 装置、 设备及介质 (57)摘要 本公开提供了一种基于知识蒸馏的联合学 习训练方法、 装置、 设备及介质。 该方法包括： 获 取初始化全局模 型， 将初始化全局模 型作为知识 蒸馏的指导模 型； 利用指导模型对本地数据进行 预测， 得到第一预测结果， 并利用本地数据对参 与方的本地模型进行训练， 得到第二预测结果； 将第一预测结果与第二预测结果进行距离衡量， 将距离衡量的结果作为指导模型与本地模型之 间的蒸馏损失， 基于蒸馏损失以及本地模型的损 失函数计算偏差值； 基于偏差值， 利用反向传播 算法计算梯度值， 利用梯度值对本地模型的参数 进行更新， 并将参数更新后的本地模 型上传至聚 合服务器， 以使聚合服务器执行聚合操作。 本公 开能够提高联合模型的收敛速度及模 型性能， 提 升联合学习效率。 权利要求书2页 说明书9页 附图2页 CN 114330125 A 2022.04.12 CN 114330125 A 1.一种基于知识蒸馏的联合学习训练方法， 其特 征在于， 包括： 获取由聚合服务器下发的初始化全局模型， 并将所述初始化全局模型作为知识蒸馏的 指导模型； 利用所述指导模型对参与方的本地数据进行预测， 得到第一预测结果， 并利用所述本 地数据对所述 参与方的本地模型进行训练， 得到第二预测结果； 将所述第一预测结果与所述第 二预测结果进行距离衡量， 将所述距离衡量的结果作为 所述指导模型与所述本地模型之间的蒸馏损失， 基于所述蒸馏损失以及所述本地模型的损 失函数计算偏差值； 基于所述偏差值， 利用反向传播算法计算梯度值， 利用所述梯度值对所述本地模型的 参数进行更新， 并将参数更新后的本地模型上传至所述聚合服务器， 以使所述聚合服务器 执行聚合操作。 2.根据权利要求1所述的方法， 其特征在于， 在所述获取由聚合服务器下发的初始化全 局模型之后， 所述方法还 包括： 联合学习中的每个所述参与方获取由所述 聚合服务器下发的初始化全局模型， 利用所 述初始化全局模型的参数对每个所述参与方的本地模型执行初始化操作， 得到初始 化后的 本地模型。 3.根据权利要求1所述的方法， 其特征在于， 所述利用所述指导模型对参与 方的本地数 据进行预测， 得到第一预测结果， 并利用所述本地数据对所述参与方的本地模型进 行训练， 得到第二预测结果， 包括： 将所述参与 方的本地数据作为所述指导模型的输入， 利用所述指导模型对所述参与方 的本地数据进行 预测， 得到所述指导模型对应的第一预测结果； 将所述参与 方的本地数据作为所述本地模型的输入， 利用所述本地数据对所述本地模 型执行若干轮次的训练， 在每一个训练轮次中， 对所述本地模型 的训练得到至少一个所述 第二预测结果。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一预测结果与所述第 二预测 结果进行距离衡量， 将所述距离衡量的结果作为所述指导模型与所述本地模型之 间的蒸馏 损失， 包括： 基于所述第 一预测结果以及所述第 二预测结果， 利用预设的距离函数计算所述第 一预 测结果与所述第二预测结果之 间的误差， 将所述误差作为所述指导模型与所述本地模型之 间的蒸馏损失。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述蒸馏损失以及所述本地模型 的损失函数计算偏差值， 包括： 利用所述第 二预测结果以及所述本地数据对应的真实标签， 对所述损失函数进行计算 得到损失函数值， 基于所述蒸馏损失以及所述损失函数值， 利用预设的公式计算所述偏差 值。 6.根据权利要求5所述的方法， 其特 征在于， 采用以下公式计算所述偏差值： LOSS＝CE(ystudent， y)+Distance(ystudent， y_teacher) 其中， LOSS表示偏差值， CE(ystudent，y)表示所述本地模型对应的损失函数值， Distance (ystudent， y_teacher)表示所述指导模型与所述本地模型之间的蒸馏损失。权　利　要　求　书 1/2 页 2 CN 114330125 A 27.根据权利要求1所述的方法， 其特征在于， 所述基于所述偏差值， 利用反向传播算法 计算梯度值， 利用所述梯度值对所述本地模型的参数进行 更新， 包括： 利用预设的所述反向传播算法对所述偏差值进行求偏导， 得到当前梯度的更新值， 利 用所述当前梯度的更新 值对所述本地模型的参数进行 更新， 得到更新后的本地模型参数。 8.一种基于知识蒸馏的联合学习训练装置， 其特 征在于， 包括： 获取模块， 被配置为获取由聚合服务器下发的初始化全局模型， 并将所述初始化全局 模型作为知识蒸馏的指导模型； 预测模块， 被配置为利用所述指导模型对参与方的本地数据进行预测， 得到第一预测 结果， 并利用所述本地数据对所述 参与方的本地模型进行训练， 得到第二预测结果； 蒸馏模块， 被配置为将所述第一预测结果与所述第二预测结果进行距离衡量， 将所述 距离衡量的结果作为所述指导模型与所述本地模型之 间的蒸馏损失， 基于所述蒸馏损失以 及所述本地模型的损失函数计算偏差值； 更新模块， 被配置为基于所述偏差值， 利用反向传播算法计算梯度值， 利用所述梯度值 对所述本地模型 的参数进行更新， 并将参数更新后的本地模型上传至所述聚合服务器， 以 使所述聚合 服务器执行聚合操作。 9.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114330125 A 3