(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961380.X (22)申请日 2022.08.11 (71)申请人 平安科技 （深圳） 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 徐玲玲　李佼　盛建达　戴磊　 (74)专利代理 机构 北京鸿元知识产权代理有限 公司 11327 专利代理师 王守梅　袁文婷 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像恢复的图像识别方法及装置 (57)摘要 本发明涉及人工智能技术领域， 揭露一种基 于图像恢复的图像识别方法及装置， 通过将待识 别的图像输入 预训练的 图像恢复模 型， 对所述待 识别的图像进行特征提取， 进而获得去除扰动的 图像特征向量； 将所述去除扰动的图像特征向量 输入预设的基于对抗网络的图像识别模型， 通过 所述图像识别模型对所述图像特征向量进行分 类识别； 获取识别后的图像。 本发明通过图像恢 复模型对待识别的图像进行扰动去除， 然后再进 行图像分类识别； 达到了对于存在微小扰动， 也 具有较好的防御的技 术效果。 权利要求书2页 说明书12页 附图2页 CN 115311718 A 2022.11.08 CN 115311718 A 1.一种基于图像恢复的图像识别方法， 应用于电子装置， 其特 征在于， 所述方法包括： 将待识别的图像输入预训练的图像恢复模型， 对所述待识别的图像进行特征提取， 进 而获得去除扰动的图像特征向量； 其中， 所述图像恢复模型通过预生成的扰动图像样本集 训练获取； 将所述去 除扰动的图像特征向量输入预设的基于对抗网络的图像识别模型， 其中， 所 述图像识别模型包括 生成器网络、 鉴别器网络和分类 器网络； 通过生成器网络生成预测识别图像， 通过鉴别器网络区分真实识别图像和预测 识别图 像； 并通过分类器网络对所述图像特征向量进行分类识别； 其中， 所述生成器网络在 对抗网 络中和所述 鉴别器网络一 起被训练； 获取识别后的图像。 2.如权利要求1所述的基于图像恢 复的图像识别方法， 其特征在于， 所述扰动图像样本 集的获取 方法包括： 获取图像数据集， 并根据攻击算法按照设定参数， 确定 干扰调整值； 根据所述干扰调整值， 对所述图像数据集中的图像按照预设的像素区域随机增加扰动 像素， 生成扰动图像； 根据所述扰动图像， 确定扰动图像样本集。 3.如权利要求1中所述的基于图像恢复的图像识别方法， 其特 征在于， 所述图像恢复模型通过 预设的损失函数进行训练约束； 所述损失函数的获取方法包括： 将所述训练数据集送入编码器， 进行特征提取， 然后将 提取的特 征送入连接有softmax分类函数的全连接层； 获取二分类的置信度； 根据所述 二分类的置信度， 计算分类损失l oss_c； 将所述编码器提取的特征经过解码器处理， 获取恢复后的图片； 对所述恢复后的图片 和正常图片进行 逐个像素计算， 获取平方差损失l oss_mse； 根据所述分类损失和平方差损失， 确定损失函数； loss＝loss_c+loss_mse； 其中， 所述 loss_c表示分类损失， 所述 loss_mse表示平方差损失。 4.如权利要求3所述的基于图像恢复的图像识别方法， 其特 征在于， 所述分类损失通过以下公式实现： 其中， N为训练样本的样本数量， pni为第n个样本的第i个分类的置信度， yni为第n个样本 的第i个分类。 5.如权利要求 4所述的基于图像恢复的图像识别方法， 其特 征在于， 所述平方差损失通过以下公式实现： 其中， m为像素点个数， di为恢复人脸像素值， gi为正常人脸像素值。 6.如权利要求1所述的基于图像恢复的图像识别方法， 其特 征在于，权　利　要　求　书 1/2 页 2 CN 115311718 A 2所述图像恢复模型和图像识别模型建模在一个网络中； 在对所述待识别的图像进行特征提取后， 对所述待识别的图像进行检测， 判定所述待 识别图像是否为扰动图像； 将判定为扰动图像的待识别图像， 利用图像恢复模型进行图像恢复， 并获得去 除扰动 的图像特 征向量； 根据所述去除扰动的图像特 征向量， 通过图像识别模型进行分类识别。 7.如权利要求1所述的基于图像恢复的图像识别方法， 其特 征在于， 所述图像恢复模型和图像识别模型分别建模封装在各自的网络中； 在对所述待识别的图像进行特征提取前， 对所述待识别的图像进行检测， 判定所述待 识别图像是否为扰动图像； 对于判定为扰动图像的待识别的图像通过图像恢 复模型进行图像恢 复后， 获取去除扰 动的待识别的图像； 通过图像识别模型对所述去除扰动的待识别的图像进行特征提取， 获得去除扰动的图 像特征向量； 通过图像识别模型对所述去除扰动的图像特 征向量进行分类识别。 8.一种基于图像恢复的图像识别装置， 其特 征在于， 所述装置包括： 扰动去除单元， 用于将待识别的图像输入预训练的图像恢复模型， 对所述待识别的图 像进行特征提取， 进而获得去除扰动的图像特征向量； 其中， 所述图像恢复模型通过预生成 的扰动图像样本集训练获取； 分类识别单元， 用于将所述去除扰动的图像特征向量输入预设基于对抗网络的图像识 别模型， 所述图像识别模型包括生成器网络、 鉴别器网络和分类器网络； 通过所述生成器网 络生成预测识别图像， 通过所述鉴别器网络区分真实识别图像和预测识别图像； 并通过所 述分类器网络对所述图像特征向量进行分类识别； 其中， 所述生成器网络在对抗网络中和 所述鉴别器网络一 起被训练； 获取单元， 用于获取识别后的图像。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行如权利要求 1至7中任一所述的基于图像恢复 的图像识别方法中的步骤。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一所述的基于图像恢复的图像识别方法。权　利　要　求　书 2/2 页 3 CN 115311718 A 3