(19)中华 人民共和国 国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202111514239.7
(22)申请日 2021.12.13
(71)申请人 安徽理工大 学
地址 232001 安徽省淮南市山 南新区泰丰
大街168号
(72)发明人 吴彩 葛斌 张天浩 沐里亭
(51)Int.Cl.
G06F 21/62(2013.01)
G06N 20/00(2019.01)
(54)发明名称
一种基于联邦学习的边 缘隐私保护方法
(57)摘要
本发明涉及一种基于联邦学习的边缘隐私
保护方法, 该方法包括: 边缘设备从服务器下载
模型, 初始化联邦训练模型, 边缘设备利用本地
数据训练模 型; 使用本地化差分隐私技术对本地
模型的梯度参数添加扰动, 将加密后的参数上传
服务器; 服务器收到经过本地差分隐私加密的本
地模型参数进行聚合, 更新全局模型参数。 本文
将本地差分隐私应用于联邦学习, 可在保障边缘
用户安全共享数据时, 完成边缘设备中数据的本
地化训练和聚合模型, 全程无需上传数据, 确保
边缘用户数据的隐私安全, 实现在保证模型准确
率的同时达 到保护模型参数的目的。
权利要求书2页 说明书4页 附图2页
CN 114169010 A
2022.03.11
CN 114169010 A
1.一种基于联邦学习的边 缘隐私保护方法, 其特 征在于, 所述方法包括:
边缘设备从服务器下载模型, 初始化联邦训练模型, 边缘设备利用本地数据训练模型;
使用本地化差分隐私技术对本地模型 的梯度参数添加扰动, 将加密后的参数上传服务器;
服务器收到经 过本地差分隐私加密的本地模型参数进行聚合, 更新全局模型参数。
2.根据权利要求1所述的基于联邦学习的边缘隐私保护方法, 其特征在于, 所述方法还
包括:
S1,边缘设备从服务器下载模型, 传递初始参数, 初始化联邦训练模型, 边缘设备利用
本地数据训练模型;
S2,使用本地化差分隐私技术对本地模型的梯度参数添加扰动, 对本地模型参数进行
模糊, 通过调整隐私参数 ε控制隐私损失, 将加密后的参数 上传服务器;
S3,服务器收到经 过本地差分隐私加密的本地模型参数进行聚合, 更新全局模型参数;
S4,更新后的模型参数发送给参与训练的边缘设备, 边缘设备更新自身的本地模型, 直
至损失函数收敛。
3.根据权利要求2所述的基于联邦学习的边缘隐私保护方法, 其特征在于, 所述方法全
程无需上传数据, 保护边 缘用户数据的隐私安全。
4.根据权利要求2所述的基于联邦学习的边缘隐私保护方法, 其特征在于, 步骤S2中,
所述本地差分隐私的隐私参数ε满足Pr[S(v)=v*]≤eε*[S(v′)=v*], 比较任意两条输入记
录的输出 结果的相似性。
5.根据权利要求2所述的基于联邦学习的边缘隐私保护方法, 其特征在于, 所述方法的
目标是在边缘网络的场景中训练一个全局模型 K(w):
最小化目标函数 F*(w), 从而提供强大的隐私保证, F*(w)为
对于每个用户Ui拥有的数据集Di的损失函数为:
其中fj(w, Di)是为模型参数w的第j个数据样本(xi, yi)的损失函数。
6.根据权利要求1所述的基于联邦学习的边缘隐私保护方法, 其特征在于, 所述的方法
通常采用随机梯度下降(SGD)算法, 即通过本地客户端模型训练的损失函数, 乘以固定的学
习率ρ, 计算出新 一轮的权 重更新。 因此, 本地 客户端的模型权 重更新如下:
第t轮通信中心服 务器的模型聚合更新如下:
7.根据权利要求1所述的基于联邦学习的边缘隐私保护方法, 其特征在于, 所述方法还
包括:权 利 要 求 书 1/2 页
2
CN 114169010 A
2在本地差分隐私中采取入随机响应机制进行加密, 通过控制随机化概率P控制隐私保
护程度。 为了满足 ε ‑本地化差分隐私的要求,随机化 概率为:
ε被称为隐私预算, ε值越小, 算法对用户隐私保护程度越高。 ε可以衡量DP算法对隐私
的损失程度, 一般情况下, 隐私预算值的高低影响隐私损失程度的大小。 当隐私预算的值逐
渐增高时, 隐私保护对 象的准确率 随之增加, 这将造成受保护对 象的隐私的损失程度增大
的结果。权 利 要 求 书 2/2 页
3
CN 114169010 A
3
专利 一种基于联邦学习的边缘隐私保护方法
文档预览
中文文档
9 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共9页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 23:14:47上传分享