(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111547264.5 (22)申请日 2021.12.16 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 陈晋音　李秦峰　陈治清　赵云波　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于个体歧视实例对生成的深度学习模型 去偏方法及其装置 (57)摘要 本发明公开了一种基于个体实例对的深度 学习模型去偏方法， 通过定义深度学习模型偏 见， 选择原始数据集， 进行数据预处理， 生成个体 歧视实例对， 定义偏见指标函数， 构建深度学习 鲁棒性模型， 将个体歧视实例对输入深度学习鲁 棒性模型进行微调训练。 本发明方法通过一种新 的个体实例对生成的数据增强的方法解决了深 度学习模型的公平性问题。 本发 明定义了一种新 的偏见指标函数克服了现有评价指标对不同数 据集具有功能不通用问题的缺陷， 即单独使用某 一偏见指标针对多个不同数据集的衡量结果可 能不具有评判性。 本发明提出了一种新的将对抗 训练融入到微调训练中的方式， 可以通过微小的 再训练量达 到较好的去偏效果。 权利要求书3页 说明书8页 附图1页 CN 114492830 A 2022.05.13 CN 114492830 A 1.一种基于个 体实例对的深度学习模型去偏方法， 其特 征在于， 具体包括以下步骤： (1)首先查找数据集中的个 体歧视实例对， 并定义深度学习模型偏见； (2)选择原 始数据集， 并利用o ne‑hot编码对原 始数据集进行 数据预处 理； (3)通过偏见神经 元查找、 全局搜索和 局部搜索生成个 体歧视实例对； (4)定义偏见指标函数； (5)构建深度学习鲁棒性模型， 通过微调训练法将步骤(3)得到的个体歧视实例对输入 深度学习鲁棒性模型进行去偏训练， 并利用步骤(4)设定的偏见指标函数衡量模型的偏见 程度。 2.根据权利要求1所述的基于个体实例对的深度学习 模型去偏方法， 其特征在于， 所述 个体歧视实例对具体为： 将X和Y表示为数据集及其值域， 将A和xA表示为数据集X的敏感属 性及其数值； 将NA和xNA表示为数据集X的非敏感属性及其 数值； 对于给定的DNN模型θ和样本 实例x， 若存在另一个样本实例x ′满足xA≠x′A， xNA＝x′NA， θ(x)≠θ(x ′)， 则称(x,x ′)为DNN模 型θ 的个体歧视实例对， x和x ′都是个体歧视实例。 3.根据权利要求1所述的方法， 其特征在于， 所述步骤(2)具体为： 所述初始样本集优选 为adult数据集； 再对初始样本集的敏感属性进行one ‑hot编码扩充， 获取对应的类别标签 序列， 并对其 他属性进行保留。 4.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(3)具体包括以下子步骤： (3.1)查找偏见神经元： 首先通过改变敏感属性获得原始数据集中每个样本的个体歧 视实例对， 再分别将 个体歧视实例对输入到DNN模型中， 并观察中间特征层上各个神经元的 激活值差异， 最后将激活差异值进行 大到小排序， 并取 前50％的神经 元作为偏见神经 元； (3.2)全局搜索： 通过 数据集聚类、 偏见损失计算、 扰动叠加得到个 体歧视实例； (3.3)局部搜索： 将步骤(3.2)得到的个体歧视实例作为输入， 并在其周围空间里搜索 更多的个 体歧视实例， 得到最终的个 体歧视实例对。 5.根据权利要求3所述的方法， 其特 征在于， 所述 步骤(3.2)具体包括以下子步骤： (3.2.1)定义 一个空的不重复集 合g_id， 用于存放全局搜索阶段找到的个 体歧视实例； (3.2.2)使用K ‑Means聚类算法对原始数据集聚类成c_num个簇； 然后以循环的方式从 每个簇中获取种子实例， 并定义g_num是全局搜索过程中要搜索的种子实例的数量； (3.2.3)定义max_iter是全局搜索过程中每个样本 的最大迭代次数， 首先根据个体歧 视实例的定义， 通过逐一改变敏感属 性值来检查样本x是否是一个个体歧视实例； 如果是， 则将个体歧视实例对(x,x ′)添加到步骤(3.2.1)定义的集合g_i d中， 并结束本次样本的全 局搜索； 如果 不是， 则依据偏见神经 元在样本x上 添加扰动以获得个 体歧视实例。 6.根据权利 要求5所述的方法， 其特征在于， 所述步骤(3.2.3)中样本x不是一个个体歧 视实例具体为： 针对个体歧视实例对定义偏见损失函数： 其中Sk(x)表示θ 中第k层所有神经元的激活值经过Tanh函数输 出， tfw是步骤(3.1)定义 的偏见神经元查找阶段中定义的特征层神经元权重向量， log是对数函数， mean是向量求均权　利　要　求　书 1/3 页 2 CN 114492830 A 2值函数； 并针对损失函数采用动量梯度的方式更新梯度： 对两个梯度求和并取符号作为梯度更新方向， 令敏感属性维度的梯度值为零； 对样本 实例x添加扰动， 从而使样 本实例对(x,x ′)最大可能成为个体歧视实例对； 最后判断添加扰 动后的样 本是否与(p ‑2)次的样 本重复， p为当前添加扰动的次数， 如果是则 在样本实例x上 再添加一个随机扰动， 计算公式如下： x＝x+random_dir() ·s_g 其中random_dir()函数产生 一个形状与x相同， 其中s_g表示扰动步长 。 7.根据权利要求5所述的方法， 其特 征在于， 所述 步骤(3.3)具体包括以下子步骤： (3.3.1)定义一个空的不重复集合l_id， 以遍历的方式从步骤(3.2.3)保存的g_id中获 得一对个 体歧视实例对(x,x ′)， 并定义局部 搜索过程中要搜索的种子实例的数量； (3.3.2)以与全局搜索阶段计算偏见损失和梯度相同的方式对两个梯度求和并取绝对 值并取倒数， 再 经过Softmax函数 得到概率p， 计算公式如下： p＝Softmax(|grad+grad ′|‑1) 其中Softmax函数计算公式如下： (3.3.3)根据概率p在样本实例x上随机选取一个非敏感属性f， 随机选择扰动方向； 仅 在样本实例x的属性f上以步长为s_l添加扰动。 8.根据权利要求1所述的方法， 其特征在于， 所述偏见指标包括差异影响指标、 人口统 计平等指标和机会平等指标， 融合上述偏见指标， 得到偏见函数： 具体为： 所述差异影响指标为： 其中， S表示受保护的属性， S＝1为特权组， S≠1为非特权组， 表示预测为 正。 所述人口统计平等指标为： 所述机会平等指标为： 融合上述偏见指标 得到偏见函数， 公式如下： 9.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(5)具体包括以下子步骤：权　利　要　求　书 2/3 页 3 CN 114492830 A 3