(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111535626.9 (22)申请日 2021.12.15 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 杨磊　黄家明　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 代理人 周春丽 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) (54)发明名称 一种针对数据异构性的个性化联邦元学习 方法 (57)摘要 本发明公开了一种针对数据异构性的个性 化联邦元学习方法， 包括以下步骤： 确定各个客 户端初始化阶段时的自动编码器结构以及个性 化阶段时的元模 型结构； 初始化联邦训练阶段的 参数； 根据客户端上传的本地数据分布向量对客 户端进行分组； 对每个组内的客户端模型进行聚 合并下发给组 内的客户端进行下一轮迭代； 联邦 训练结束后， 客户端在其组内元模 型及其本地数 据上进行微调产生个性化模型。 本发 明在客户端 参与联邦训练时， 依据其每一轮上传的本地数据 分布向量， 动态将数据分布近似的客户端划分到 同一组中并为每一组设置对应的元模 型， 进而缓 解在数据高度异构的环境下引起的模型收敛慢 且准确率低的问题。 权利要求书4页 说明书10页 附图2页 CN 114357067 A 2022.04.15 CN 114357067 A 1.一种针对数据异构性的个性 化联邦元 学习方法， 其特 征在于， 包括以下步骤： S1、 确定各个客户端初始化阶段时的自动编码器结构以及个性化阶段时的元模型结 构； S2、 进行初始化阶段以获得不同数据分布的中心点； S3、 客户端参与联邦训练， 根据每 轮上传的数据分布向量将客户端划分为多个组； S4、 对每个组内的客户端模型进行聚合并下发给组内的客户端 进行下一轮迭代； S5、 联邦训练结束后， 客户端在其组内元模型及其本地数据上进行调整产生个性化模 型。 2.根据权利要求1所述一种针对数据异构性的个性化联邦元学习方法， 其特征在于， 客 户端在参与联邦学习之前， 需要从服务端下载统一的自动编码器以及元模型 的模型结构； 所述用以初始化阶段的自动编 码器是神经网络的一种， 用以提取客户端本地数据分布的统 计特性， 并以向量的形式进行表征； 所述用以个性化 阶段的元模型指的是元学习 下的一种 模型， 能通过少量样本的训练来适应新任务的学习模型， 用以适应客户端的本地数据生成 个性化模型。 3.根据权利要求1所述一种针对数据异构性的个性化联邦元学习方法， 其特征在于， 所 述步骤S2中获取中心点， 包括以下步骤： S201、 令Di表示客户端的本地数据集， Ck表示中心点， 表示自动编码器的编码器部 分； S202、 每个客户端利用本地数据集Di训练自动 编码器得到 S203、 每个客户端i使用编码器 获得每个数据样本x∈Di的嵌入向量 之后将所有样本的嵌入向量进行平均得到本地数据分布向量 并上传到服 务端中； S204、 服务端在收集到的客户端数据分布向量{Hi}上运行K ‑means算法得到K个 聚类中 心点Ck。 4.根据权利要求1所述一种针对数据异构性的个性化联邦元学习方法， 其特征在于， 所 述自动编码器的模型结构为堆栈自动编码器、 卷积自动编码器、 循环自动编码器的其中一 种。 5.根据权利要求1所述一种针对数据异构性的个性化联邦元学习方法， 其特征在于， 所 述联邦训练遵循联邦平均算法， 具体为： 假设有N个客户端， 每个客户端都有一个固定的本 地数据集Di， 在每轮的开始， 服务端随机选择部分客户端， 然后服务端将当前全局算法状态 发送到每个客户端， 每个客户端执行基于全局状态和本地数据集的本地计算， 然后将更新 后的全局状态发送到服务器， 服务端将聚合这些更新后的全局状态以产生新的全局状态， 并重复此 过程； 在联邦训练的框架下。 6.根据权利要求1所述一种针对数据异构性的个性化联邦元学习方法， 其特征在于， 步 骤S3包括以下步骤： S301、 令φk表示第k组中的元模型， θi表示客户端的本地个性化模型， R表示总的通信轮 次； 每轮从参与联邦训练的所有客户端中选择|S|个客户端； 客户端进 行本地更新的次数为权　利　要　求　书 1/4 页 2 CN 114357067 A 2T； 本地数据集用Di表示， 并且每个客户端拥有|Di|个数据样本x； 对于客户端i， 其本地数据 集划分为两部分 用以客户 端的训练, 用以客户 端的个性 化； S302、 服务端随机 选择|S|个客户端， 并将对应的元模型φk发送到选择的客户端中； S303、 客户端收到来自服务端的元模型φk时， 在元模型φk和本地数据Di上进行本地更 新， 在本地第t∈ T轮更新时， 其更新的计算方式为： 其中， 表示的是元模型φk在第r轮的通信回合， 在客户端i上进行第t轮的本地更 新； α表示本地模型的学习率； 表示的是模型训练过程中的损失函数， 其大小 与 关联， 常用的损失函数有0 ‑1损失函数， 交叉熵损失函数， softmax损失函数等； 表示的是神经网络反向传播时损失函数的梯度大小； 表示从 随机采样大小为 的数据样本， 将更新后的本地模型 用以更新元模型， 其计算 方式为： 其中， 表示的是元模型φk在第r轮的通信回合， 在客户端i上进行第t轮的本地 更新后， 用以下一轮t+1本地更新的元模型； 表示的是损失函数， 其大 小与 关联； β表示元模型的学习率， 通常情况下， β设置为β≤α； 随后， 重复 S303步骤直到 完成T轮的本地更新； S304、 令 表示T轮训练中共采样的数据样本， 其 采样的数据样本大小为 得到在通信轮次r∈R下客户端的本地数据 分布向量 为： S305、 完成T轮本地更新后， 客户端将更新后的元模型 以及步骤S304下的本地数据 分布向量hi一同发送到服 务端。 7.根据权利要求6所述一种针对数据异构性的个性化联邦元学习方法， 其特征在于， 元 模型的更新算法为模 型无关的元学习， 在S 303步骤中， 在 对元模型进 行更新时， 其反向传播 得到的梯度大小为 具体为： 使用一阶梯度版本去做更新， 将二阶梯度忽略， 对应的梯度更新为 权　利　要　求　书 2/4 页 3 CN 114357067 A 3