(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111597238.3 (22)申请日 2021.12.24 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 张超　谢嘉豪　柳伟杰　白文松　 钱徽　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 郑海峰 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种用于最小-最大化问题的跨设备联邦学 习方法 (57)摘要 本发明公开了一种用于最小 ‑最大化问题的 跨设备联邦学习方法， 属于联邦学习技术领域。 包括： 中心服务器初始化模型参数中的主变量和 对偶变量， 以及迭代轮数； 中心服务器选择一个 客户端子集， 将模型参数发送至每个客户端； 客 户端子集中的每个客户端计算本地梯度估计量； 中心服务器接收客户端返回的本地梯度估计量， 计算全局梯度估计量； 中心服务器选择另一个客 户端子集， 将 模型参数和全局梯度估计量发送至 每个客户端， 客户端对模型参数进行K步的本地 更新， 并将最终的本地模型参数发送给中心服务 器； 中心服务器接收到客户端返回的本地模型参 数后， 计算新的全局模型参数， 迭代计算， 直至输 出最终参数。 权利要求书3页 说明书5页 附图1页 CN 114330743 A 2022.04.12 CN 114330743 A 1.一种用于最小 ‑最大化问题的跨设备 联邦学习方法， 其特 征在于， 包括以下步骤： 步骤一， 中心服务器初始化模型参数中的主变量 和对偶变量 并且设 x0＝x‑1,y0＝y‑1， 以及迭代轮数t＝0， 其中 和 分别表示主变量和对偶变量的可 行域； 步骤二， 中心服务器选择一个客户端子集 将模型参数{xt,yt,xt‑1,yt‑1}发送至 中 的每个客户端； 其中， xt,yt表示t轮迭代的主变量和对偶变量； 步 骤 三 ， 中 的 每 个 客 户 端 计 算 本 地 梯 度 估 计 量 并发送至中心服务器， 在t＝0时， 本地梯度估计量为 其 中fi和 分别表示 客户端i的本地目标函数及其梯度， αt为[0,1]区间上的一个超参数； 步骤四， 中心服 务器接收 中的每个客户端返回的本地梯度估计量； 步骤五， 中心服 务器计算全局梯度估计量(ut,vt)； 步骤六， 中心服务器选择另一个客户端子集 将模型参数(xt,yt)和全局梯度估计量 (ut,vt)发送至中 的每个客户端； 步骤七， 中的每个 客户端 对模型参数进行K步的本地 更新， 并将最终的本地模型 参数 发送给中心服 务器； 步骤八， 中心服 务器接收 中的每个客户端返回的本地模型参数； 步骤九， 中心服 务器计算新的全局模型参数： 其中， S表示 客户端子集 中的客户端数量； 步骤十， 中心服务器计算t＝t+1； 若t<T， 重复步骤二至步骤十； 否则输出模型参数(xT, yT)。 2.根据权利要求1所述的一种用于最小 ‑最大化问题的跨设备联邦学习方法， 其特征在 于， 所述的步骤五具体为： 若迭代轮数t＝0， 中心服 务器计算全局梯度的小批估计量： 其中， 和 分别表示fi对主变量和对偶变量的偏导数； 若迭代轮数0＜t≤T， 中心服 务器计算基于动量的降方差全局梯度估计量：权　利　要　求　书 1/3 页 2 CN 114330743 A 2其中， T表示预设的总迭代轮数。 3.根据权利要求1所述的一种用于最小 ‑最大化问题的跨设备联邦学习方法， 其特征在 于， 所述的步骤 七包括： 步骤7.1： 中的每个客户 端接收中心服务器的模型参数( xt,yt)和全局梯度估计量 (ut,vt)； 步骤7.2： 客户端 初始化本地模型参数 并设本地迭代次数k＝ 0； 步骤7.3： 客户端 从本地数据集中采样一个数据样本子集 上角标k对应第k轮 迭代时采样的数据样本 子集； 步骤7.4： 客户端 结合全局梯度估计量和本地目标函数的随机梯度计算主变量和 对偶变量的更新方向： 其中， 表示客户端i对于数据样本子集 定义的目标函数在点 处的值； 表示客户端i对于数据样本子集 定义的目标函数在 点(xt,yt)处的值； 步骤7.5： 客户端 更新本地的模型参数： 其中， 和 分别表示投影到集合 和 的投影操作， 步长 ηt和γt是(0,+∞)区间上的 超参数； 步骤7.6： 客户端 计算k＝k+1； 若k<K， 重复步骤7.3至步骤7.6； 否则将本地模型参 数 发送至中心服 务器。 4.根据权利要求1所述的一种用于最小 ‑最大化问题的跨设备联邦学习方法， 其特征在 于， 所述的步骤二中， 在t＝0时， 即初始时刻， 仅需要将模型参数{x0,y0}发送至 中的每个 客户端。 5.根据权利要求1所述的一种用于最小 ‑最大化问题的跨设备联邦学习方法， 其特征在 于， 所述的步骤二中， 为了避免中心 服务器所选客户端子集中的部 分客户端无法正常工作，权　利　要　求　书 2/3 页 3 CN 114330743 A 3