(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641151.1 (22)申请日 2021.12.2 9 (71)申请人 杭州海康威视数字技 术股份有限公 司 地址 310051 浙江省杭州市滨江区阡 陌路 555号 (72)发明人 王鹏　沈海珍　王讯　浦世亮　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 代理人 孙翠贤　孟维娜 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 模型训练方法、 装置及模型训练系统 (57)摘要 本发明实施例提供了模 型训练方法、 装置及 模型训练系统， 应用于机器学习技术领域。 该方 法应用于模 型训练系统中的第一节 点， 该方法包 括： 接收至少一第二节点发送的模型参数， 并利 用所接收的模 型参数， 与第一节 点内部署的机器 学习模型的模 型参数进行融合， 得到包含融合后 模型参数的机器学习模型， 进而基于第一节点的 本地数据集， 对所得到的机器学习模型进行训 练， 并返回执行接收至少一第二节 点发送的训练 信息的步骤。 通过本方案， 可以提高联邦学习系 统中每一节点内机 器学习模型的训练效果。 权利要求书3页 说明书13页 附图4页 CN 114298326 A 2022.04.08 CN 114298326 A 1.一种模型训练方法， 其特征在于， 应用于第 一节点， 所述第 一节点为联邦学习系统中 的任一节点， 所述方法包括： 接收至少一第 二节点发送的训练信 息； 其中， 每一第 二节点的训练信 息包括： 该第二节 点最新的模型参数， 所述至少一第二节点为： 所述联邦学习系统中除所述第一节点外的其 他节点； 利用所接收的模型参数， 与所述第一节点内部署的机器学习模型的模型参数进行融 合， 得到融合后的模型参数； 利用所述融合后的模型参数， 更新所述机器学习模型的模型参数， 得到包含融合后模 型参数的机器学习模型； 基于所述第一节点的数据集， 对所得到的机器学习模型进行训练， 并返回执行所述接 收至少一第二节点发送的训练信息的步骤。 2.根据权利要求1所述的方法， 其特征在于， 所述利用所接收的模型参数， 与所述第一 节点内部署的机器学习模型的模型参数进行融合， 得到融合后的模型参数， 包括： 确定待利用的参数融合模式； 按照待利用的参数融合模式， 对所接收的模型参数和所述第 一节点内部署的机器学习 模型的模型参数进行融合， 得到融合后的模型参数。 3.根据权利要求2所述的方法， 其特征在于， 所述按照待利用的参数融合模式， 对所接 收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合， 得到融合后的 模型参数， 包括： 若待利用的参数融合模式为全等同融合模式， 则计算所接收的模型参数和所述第 一节 点内部署的机器学习模型的模型参数的均值， 作为融合后的模型参数。 4.根据权利要求2所述的方法， 其特征在于， 所述按照待利用的参数融合模式， 对所接 收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合， 得到融合后的 模型参数， 包括： 若待利用的参数融合模式为节点控制模式， 则确定所述联邦学习系统中每一节点针对 所述第一节点的融合权 重； 基于各节点的融合权重， 计算所接收的模型参数， 与所述第一节点内部署的机器学习 模型的模型参数的加权值的平均值， 作为融合后的模型参数。 5.根据权利要求4所述的方法， 其特征在于， 所述确定所述联邦学习系统中每一节点针 对所述第一节点的融合权 重， 包括： 获取所述第一节点的最近历史权重； 每一节点的最近历史权重包括： 在该节点进行参 数融合时， 所述联邦学习 系统中各节点针对该节点的融合权 重； 针对每一第二节点， 确定该第二节点的模型参数， 对所述第一节点内机器学习模型的 训练贡献度， 作为该第二节点的训练贡献度； 基于各第二节点的训练贡献度， 对所述第一节点的最近历史权重中， 每一节点针对所 述第一节点的融合权 重进行更新。 6.根据权利要求5所述的方法， 其特征在于， 每一第二节点的训练信息还包括： 在该第 二节点进行参数融合时， 所述第一节点针对该第二节点的融合权 重； 所述基于各第二节点的训练贡献度， 对所述第一节点的最近历史权重中， 每一节点针权　利　要　求　书 1/3 页 2 CN 114298326 A 2对所述第一节点的融合权 重进行更新， 包括： 基于各第二节点的模型参数的训练贡献度、 所述第一节点针对各第二节点的融合权 重， 对所述第一节点的最近历史权 重中， 各节点针对所述第一节点的融合权 重进行更新。 7.根据权利要求5所述的方法， 其特征在于， 所述针对每一第二节点， 确定该第二节点 的模型参数， 对所述第一节点内机器学习模型的训练贡献度， 包括： 计算所述机器学习模型的模型参数与各第二节点的模型参数的均值， 得到第一参数； 并测试在模型参数为所述第一 参数时， 所述机器学习模型的准确率， 作为第一 准确率； 针对每一第 二节点， 计算所述机器学习模型的模型参数与各第 三节点的模型参数的均 值， 得到第二参数； 并测试在模型参数为所述第二参数时， 所述机器学习模型 的准确率， 作 为该第二节点对应的第二准确率； 其中， 所述第三节点为： 各第二节点中， 除该第二节点之 外的节点； 针对每一第二节点， 计算所述第一准确率与该第二节点对应的第二准确率的差值， 作 为该第二节点的模型参数， 对所述机器学习模型的训练贡献度。 8.根据权利要求2所述的方法， 其特 征在于， 所述确定待利用的参数融合模式， 包括： 随机从多种参数融合模式， 选择一种参数融合模式， 作为待利用的参数融合模式； 或者， 将最近N次被选择的参数融合模式中， 被选择次数最多的参数融合模式， 作为待利用的 参数融合模式。 9.根据权利要求5所述的方法， 其特征在于， 所述按照待利用的参数融合模式， 对所接 收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合， 得到融合后的 模型参数， 包括： 若待利用的参数融合模式为数据权重模式， 则基于各节点的数据量， 确定每一节点的 数据权重； 基于各节点的数据权重， 计算所接收的模型参数， 与所述第一节点内部署的机器学习 模型的模型参数的加权值的平均值， 作为融合后的模型参数。 10.一种模型训练系统， 其特 征在于， 所述模型训练系统中包 含多个节点； 其中， 第一节点， 用于接收至少一第 二节点发送的训练信息， 其中， 每一第 二节点的训练信 息 包括： 该第二节点最新的模型参数； 利用所接收的模型参数， 与所述第一节点内部署的机器 学习模型的模型参数进 行融合， 得到融合后的模型参数； 利用所述融合后的模型参数， 更新 所述机器学习模型 的模型参数， 得到包含融合后模型参数 的机器学习模型； 基于所述第一 节点的数据集， 对所得到的机器学习模型进行训练， 并向所述至少一第二节点发送所述第 一节的训练信息， 以及返回执行所述接 收至少一第二节点发送的训练信息的步骤； 所述第 一节点为所述联邦学习系统中的任一节点， 所述至少一第二节点为： 所述联邦学习系统中 除所述第一节点外的其 他节点； 每一第二节点， 用于向所述第一节点发送所述训练信息 。 11.一种模型训练装置， 其特征在于， 应用于第一节点， 所述第一节点为联邦学习系统 中的任一节点， 所述方法包括： 信息接收模块， 用于接收至少一第 二节点发送的训练信 息； 其中， 每一第 二节点的训练 信息包括： 该第二节点最新的模 型参数， 所述至少一第二节 点为： 所述联邦学习系统中除所权　利　要　求　书 2/3 页 3 CN 114298326 A 3