(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111582604.8 (22)申请日 2021.12.2 2 (71)申请人 安徽兰科智能科技有限公司 地址 230000 安徽省合肥市中国 （安徽） 自 由贸易试验区合肥市高新区创新大道 2800号创新产业园二期J1楼A座1008- 1室 (72)发明人 许明雪　许广德　许明阳　 (74)专利代理 机构 合肥律众知识产权代理有限 公司 34147 代理人 朱波 (51)Int.Cl. G06N 20/00(2019.01) G06F 9/50(2006.01) G06F 21/62(2013.01) (54)发明名称 一种适用 于异构网络的通用联邦学习实现 方法 (57)摘要 本发明涉及联邦学习， 具体涉及一种适用于 异构网络的通用联邦学习实现方法， 对子节点的 资源描述和数据描述进行建档； 中央节点向其他 异构异步子节 点分配基本联邦学习任务， 并给每 个子节点设定执行任务的截止时间； 子节点进行 自适应训练， 并将更新信息一并发送至中央节 点； 中央节 点使用全局优化器对 上传的更新信息 进行加权聚合， 得到新一轮的全局模型参数； 本 发明提供的技术方案能够有效克服现有联邦学 习算法难以在弱节点、 异构网络环 境下落地的缺 陷。 权利要求书2页 说明书6页 附图2页 CN 114254761 A 2022.03.29 CN 114254761 A 1.一种适用于异构网络的通用联邦学习实现方法， 其特 征在于： 包括以下步骤： S1、 对子节点的资源描述和数据描述进行建档； S2、 中央节点向其他异构异步子节点分配基本联邦学习任务， 并给每个子节点设定执 行任务的截止时间； S3、 子节点进行自适应训练， 并将更新信息一并发送至中央节点； S4、 中央节点使用全局优化器对上传的更新信息进行加权聚合， 得到新一轮的全局模 型参数。 2.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： S1中 对子节点的资源描述和数据描述进行建档， 包括： 资源描述建档， 即对当前时钟下可用计算资源以及网络状态进行建档； 数据描述建档， 即对本地数据的来源、 标签、 结构元 数据进行存 储和建档； 其中， 所述数据描述包括两个方面： 数据使用记录， 本地数据在某些情况下可能会多次参与训练， 或者仅有一 次， 将影响子 节点的局部模型参数 更新误差； 数据属性描述， 子节点需要对本地数据关于更细粒度的属性进行充分描述， 以便在训 练时快速进行 数据筛选。 3.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： S2中 中央节点向异构异 步的子节点分配基本联邦学习任务， 并针对每个子节点给出执行任务的 截止时间， 包括： 中央节点设置一个基本联邦学习任务， 连同初始全局模型参数下发给每个子节点， 同 时考虑到系统的高异步性， 中央节点针对每个子节点给出执行任务的截止时间， 并通过向 每个子节点发送确认时间来 排除异常节点。 4.根据权利要求3所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： 所述 中央节点设置的下发 内容在系统通信负载范围内， 同时中央节点通过截止时间机制对每个 子节点的网络状态进行监控。 5.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： S3 中 子节点进行自适应训练， 并将更新信息一并发送至中央节点， 包括： 子节点根据训练任务需求， 以及 初始全局模型参数在本地筛 选符合要求的样本数据； 子节点根据本地可用计算资源， 合理安排本地迭代的样本数量和次数， 以及适合的隐 私保护策略， 得到更新的局部模型参数； 子节点将更新的局部模型参数、 参与迭代的样本信息和迭代超参、 采取的隐私保护策 略一并发送至中央节点。 6.根据权利要求5所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： 所述 子节点根据本地可用计算资源， 合理安排本地迭代的样本数量和次数， 以及适合的隐私保 护策略， 包括： 在本地可用计算资源极其稀缺的情况下， 仅选取少量样本， 不采取任何隐私保护策略 直接传输更新信息； 在本地可用计算资源宽裕的情况下， 采用差分隐私策略， 并在本地每次迭代结束时将 更新信息一并发送至中央节点；权　利　要　求　书 1/2 页 2 CN 114254761 A 2在本地网络状态不畅的情况 下， 对更新信息进行压缩以降低通信开销。 7.根据权利要求5或6所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： S3中子节点进行自适应训练之前， 包括： 中央调度器根据训练任务需求针对每个子节点进行计算资源、 数据资源的调度， 并调 节每个子节点与中央节点之间的传输数据量和通信频率。 8.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： S4中 中央节点使用全局优化器对上传的更新信息进行加权聚合， 得到新一轮的全局模型参数， 包括： 全局模型根据每个子节点上传的更新的局部模型参数、 训练样本情况和采取的隐私保 护策略， 通过全局优化器进行加权聚合， 得到新 一轮的全局模型参数。 9.根据权利要求8所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： 所述 全局优化器有两个目标： 全局模型的加权损失最小， 全局 加权损失函数为： 其中， Loptimize为全局加权损失函数， f为全局模型， w为全局模型的权重， 节点i的权重 根据训练样本数量、 本地数据偏置参数δi、 本地隐私保护策略导致的数据精 度损失γi确定， fi(w,Xi)＝l(w,Xi)为每个子节点的学习任务， fi为节点i的局部模型参数， Xi为节点i当前迭代的训练样本集； 同时， 全局优化器还需要根据当前网络拓扑和异构网络对下一轮分配的学习 任务进行 优化， 具体依据为： 其中， M、 N分别代表当前网络拓扑中的边数目、 节点数目， Ci,compute代表节点i处训练和 隐私保护的计算开销， Cj,communicate代表第j条边的通信开销， 取决于采用的通信协议中传输 数据量和通信频率。 10.根据权利要求8 或9所述的适用于异构网络的通用联邦学习实现方法， 其特征在于： S4中中央节点使用全局优化器对上传的更新信息进行加权聚合之前， 包括： 中央节点在一轮截止时间到达后统计每个子节点的更新信 息上传情况， 对于未及时上 传更新信息的子节点进行舍弃。权　利　要　求　书 2/2 页 3 CN 114254761 A 3