(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111626157.1 (22)申请日 2021.12.28 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙坪坝正 街 174号 (72)发明人 黄宏宇　张莉玲　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 代理人 廖曦 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) G06F 21/62(2013.01) (54)发明名称 一种基于联邦学习的域泛化方法 (57)摘要 本发明涉及一种基于联邦学习的域泛化方 法， 属于计算机技术领域。 该方法包括： 利用对抗 学习网络按类别对齐客户端的源域数据的特征 分布和参考特征分布； 利用联邦学习架构将多个 客户端的特征提取器、 分布生 成器和分类器的模 型参数在服务器进行平均， 使得多个客户端的参 考特征分布 一致， 且靠近所有源域数据特征分布 的中心， 特征提取器输出的特征分布一致， 且分 类器能对该分布的特征进行分类； 通过多轮的服 务器与客户端数据交互， 多个源域的特征分布按 类别对齐， 此时， 服务器聚合的特征提取器和分 类器能很好地从多源域泛化至目标域。 本发明在 保护源域数据隐私的条件下， 无需目标场景数据 即可学习在目标域具有很好泛化能力的模型。 权利要求书2页 说明书7页 附图3页 CN 114399055 A 2022.04.26 CN 114399055 A 1.一种基于联邦学习的域泛化方法， 其特征在于， 在联邦学习架构下， 基于分布式的多 源域的数据跨 域学习一个用于未知目标域的泛化模型， 具体包括以下步骤： S1： 利用对抗学习网络按类别对齐客户端的源域数据的特征分布和参考特征分布， 并 学习一个在 源域特征上能很好分类的分类器； 其中， 使用分布生成器生成参考特征分布， 通 过对抗学习， 生成的参 考特征分布按类别靠 近源域数据的特 征分布； S2： 利用联邦学习架构将多个客户端的特征提取器、 分布生成器和分类器的模型参数 在服务器进行平均， 使得多个客户端的参考特征分布一致， 且靠近所有源域数据特征分布 的中心， 特 征提取器输出的特 征分布一 致， 且分类 器能对该 特征分布的特 征进行分类； S3： 通过多轮的服务器与客户端数据交互， 多个源域的特征分布按类别对齐， 特征提取 器在多个源域数据上输出的特 征分布靠 近生成的参 考特征分布。 2.根据权利要求1所述的基于联邦学习的域泛化方法， 其特征在于， 步骤S1具体包括以 下步骤： S11： 基于本地带标签的源域数据， 客户端训练特征提取器和分类器， 使得特征提取器 提取出用于分类任务的关键数据特 征， 分类器能对该 特征准确地分类； S12： 给定特征提取器提取的源域数据特征和分布生成器输出的生成特征， 两类特征携 带真实数据的标签， 经 过随机映射后输入判别器， 判别器将输出 该特征作为正样本的概 率； S13： 特征提取器的参数更新： 使用超参数λ0和 λ1来平衡对抗损失和分类损失对特征提 取器参数的影响； S14： 分布生成器的损失函数 由判别器判断生成特征h ′是否为正样本的概率得 到； 在对抗训练分布生成器的过程中， 给定固定参数的判别器， 用于更新分布生成器 的参数； S15： 基于步骤S12， 判别器尽可能地区分被看作负样本的源域数据特征和被看作正样 本的生成特征； 在步骤S13和步骤S14， 固定判别器参数， 训练特征提取器使 得判别器误判源 域特征为正样本， 训练分布生成器使得判别器正确判断生成特征为正样本， 重复多轮步骤 S12～S14的对抗训练， 使得判别器将这两类特征都判别为正样 本， 此时， 源域特征分布和生 成的参考特征分布按类别对齐， 并且， 生成的参考特征分布通过对抗训练按类别靠近源域 特征分布。 3.根据权利要求2所述的基于联邦学习的域泛化方法， 其特征在于， 步骤S12中， 在特征 提取器、 分布生成器和判别器的对抗学习 过程中， 特征提取器提取 的特征h被看作负样本， 而分布生成器输出的特征h ′被看作正样本； 判别器将这两类输入特征的损失函数 定 义为： 其中， p(h)表示特征h的分布， p(h ′)表示特征h ′的分布， D表示判别器模型， y表示特征h 对应数据的真实标签， 表示期望 。 4.根据权利要求3所述的基于联邦学习的域泛化方法， 其特征在于， 步骤S13具体包括： 更新特征提取器和分类器的损失函数为 其中， 为分类训练过程中的 损失函数， 表示对抗学习过程中特 征提取器的损失函数， 定义 为：权　利　要　求　书 1/2 页 2 CN 114399055 A 2在对抗训练特征提取器的过程中， 特征提取器的负样本h将用于欺骗判别器， 使得判别 器将h判别为 正样本。 5.根据权利要求4所述的基于联邦学习的域泛化方法， 其特征在于， 步骤S14中， 分布生 成器的损失函数 用于更新分布生成器的参数， 定义为： 6.根据权利要求1所述的基于联邦学习的域泛化方法， 其特征在于， 步骤S2具体包括以 下步骤： S21： 服务器接收来自客户端上传的模型的参数， 这些模型包括： 特征提取器、 分布生成 器和分类器， 并暂存， 当接收了所有客户端 上传的模型参数后， 按不同模型对上传的参数进 行平均， 参数平均运 算公式为： 其中， wt表示在第t周期的模型参数， K表示 客户端数量； S22： 在服务器对所接收的所有模型参数平均计算后， 服务器将得到的新模型参数分发 至所有客户端， 等待下一次聚合 运算。 7.根据权利要求1所述的基于联邦学习的域泛化方法， 其特征在于， 步骤S3具体包括以 下步骤： S31： 在客户端， 本地分布生成器的输出分布靠近本地源域数据的特征分布， 经参数全 局平均， 此时分布生成器输出 的参考特征分布靠近所有源域数据分布的中心； 经过多轮客 户端与服务器参数交互， 直至分类器在本地数据集上 的较高的准确 率收敛， 上传模型参数 至服务器； S2： 服务器对特 征提取器和判别器的参数进行平均。权　利　要　求　书 2/2 页 3 CN 114399055 A 3