(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210397127.6 (22)申请日 2022.04.15 (71)申请人 佛山科学技术学院 地址 528000 广东省佛山市江湾一路18号 (72)发明人 周燕　吴浩海　吴楚涛　韦勤彬　 周月霞　刘翔宇　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 梁永健　邓流沛 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/28(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种有效学习人脸细节的高分辨率人脸防 欺骗方法及系统 (57)摘要 本发明涉及深度学习和计算机视觉技术领 域， 尤其涉及一种有效学习人脸细 节的高分辨率 人脸防欺骗方法及系统， 其中方法包括以下步 骤： S1、 通过自适应特征增强网络， 对人脸图及其 对应的深度图和反光图进行特征加权； S2、 通过 对角特征融合网络， 对特征加权后的人脸图进行 特征提取， 获取具有判别性的人脸局部细节特征 图； S3、 通过欺骗区域检测网络， 对人脸局部细 节 特征图进行放大， 在高维空间提取人脸欺骗特征 区域； S4、 通过全连接层以及SoftMax分类器， 对 人脸欺骗特征区域进行处理， 以判断人脸是否为 欺骗人脸。 本发明能提高人脸欺骗区域的辨识 度， 进一步提高人脸活体 检测的效率。 权利要求书3页 说明书7页 附图4页 CN 114724223 A 2022.07.08 CN 114724223 A 1.一种有效学习人脸细节的高分辨 率人脸防欺骗方法， 其特 征在于， 包括以下步骤： S1、 通过自适应特 征增强网络， 对人脸图及其对应的深度图和反光图进行 特征加权； S2、 通过对角特征融合网络， 对特征加权后的人脸图进行特征提取， 获取具有判别性的 人脸局部细节特征图； 其中， 所述对角特征融合网络包括三层， 第一层 包括卷积核 大小为16 ×16和步长为16的Embedding层； 第二层为卷积核大小为2 ×2的自注意力子模块组成的对 角特征融合模块， 所述对角特征融合模块融合人脸上下文信息； 第三层是进行矩阵转换， 输 出人脸特征信息； S3、 通过欺骗区域检测网络， 对人脸局部细节特征图进行放大， 在高维空间提取人脸欺 骗特征区域； S4、 通过全连接层以及SoftMax分类器， 对人脸欺骗特征区域进行处理， 以判断人脸是 否为欺骗人脸。 2.根据权利要求1所述的一种有效学习人脸细节的高分辨率人脸防欺骗方法， 其特征 在于， 所述 步骤S1包括以下步骤： S101、 对人脸图进行变换， 生成辅助信息， 所述辅助信息包括人脸图相对应的深度图和 反光图， 其中真实人脸对应的反光图为0， 欺骗人脸对应的深度图为0： 其中， F是人脸图， Y是人脸图F的标签， 是人脸的深度图， |D|是归一化因子， 将深度图 的值归一 化在[0,1]的范围之内； 其中， F是人脸图， Y是 人脸图F的标签， 是人脸的反光图， |R|是归一 化因子； S102、 将人脸图和对应的深度图、 反光图进行二 值化操作， 得到二 值化图； S103、 通过卷积操作对二值化后的深度图和反光图进行提取， 提取出深度图的特征信 息、 深度图的权值、 反光图的特 征信息和反光图的权值； S104、 将深度图的特征信息根据深度图的权值、 反光 图的特征信息根据反光图的权值 融合到原 始人脸输入中， 得到特 征加权后的人脸图。 3.根据权利要求2所述的一种有效学习人脸细节的高分辨率人脸防欺骗方法， 其特征 在于， 所述 步骤S2包括以下步骤： S201、 对于特征增强后的人脸图 其中X是特征加权后的人脸图， 是实 数， H是高度， W是宽度， C是 频道数， 通过Embed ding层将其划分为多个窗口； S202、 提出一个2×2卷积， 以在3 ×3的网络中使用所有的相邻键 并且将 对角键X两 两相加， 增强每 个键所携带的人脸特 征信息， 键值和索引值的关系可表示 为： 权　利　要　求　书 1/3 页 2 CN 114724223 A 2Q＝XWq 其中α 表示跨区域 融合后的人脸特征图， δ表示SoftMax操作， K表示对角键的融合， K ′表 示另一组对角键的融合， T表示矩阵转置， d表示索引值的维度， Q代表人脸特征信息， Wq表示 1×1卷积矩阵， X表示特 征增强后人脸图； S203、 通过嵌入矩阵1 ×1卷积将跨区域融合后的人脸特征图α转换为人脸 图特征矩阵 V， 并通过注意力机制融合静态背 景信息， 获得具有判别性的人脸局部细节特征图Y， 可表 示 为： 其中， Y表示人脸局部细节特征图， V表示转换后的人脸图特征矩阵， 为对角特征融合网 络运行所需要的参数， 表示空间中3 ×3局部网格中的矩阵乘法运 算。 4.根据权利要求3所述的一种有效学习人脸细节的高分辨率人脸防欺骗方法， 其特征 在于， 所述 步骤S3包括以下步骤： S301、 对人脸局部细节特征图输入到欺骗区域检测网络中， 通过注意力机制锁定人脸 欺骗特征区域； S302、 对锁定后的人脸欺骗特 征区域输入到高维空间进行放大； S303、 重复步骤S3 01‑S302三次， 获得最终的人脸欺骗特 征区域。 5.根据权利要求4所述的一种有效学习人脸细节的高分辨率人脸防欺骗方法， 其特征 在于， 所述 步骤S4包括以下步骤： S401、 对最终的人脸欺骗特征区域输入全连接层后， 再输入SoftMax分类器进行分类， 得到人脸图为真人脸的概 率得分和欺骗人脸的概 率得分； S402、 将真人脸的概率得分和欺骗人脸的概率得分进行对比， 输出概率得分较大的所 属类别。 6.一种有效学习人脸细节的高分辨 率人脸防欺骗系统， 其特 征在于， 包括： 自适应特 征增强网络单 元， 用于对人脸图及其对应的深度图和反光图进行 特征加权； 对角特征融合网络单元， 用于对特征加权后的人脸图进行特征提取， 获取具有判别性 的人脸局部细节特 征图； 欺骗区域检测网络单元， 用于对人脸局部细节特征图进行放大， 在高维空间提取人脸 欺骗特征区域； 分类器单元， 用于对人脸欺骗特 征区域进行处 理， 以判断人脸是否为欺骗人脸。 7.根据权利要求6所述的一种有效学习人脸细节的高分辨率人脸防欺骗系统， 其特征 在于， 所述自适应特 征增强网络单 元包括： 变换模块， 用于对人脸图进行变换， 生成辅助信息； 二值化模块， 用于将人脸图和对应的深度图、 反光图进行二 值化操作， 得到二 值化图； 提取模块， 用于通过卷积操作对二值化后的深度图和反光图进行提取， 提取出深度图 的特征信息、 深度图的权值、 反光图的特 征信息和反光图的权值； 融合模块， 用于将深度图的特征信息根据深度图的权值、 反光图的特征信息根据反光 图的权值融合到原 始人脸输入中， 得到特 征加权后的人脸图。 8.根据权利要求6所述的一种有效学习人脸细节的高分辨率人脸防欺骗系统， 其特征 在于， 所述对角特 征融合网络单 元包括：权　利　要　求　书 2/3 页 3 CN 114724223 A 3