(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210993852.X (22)申请日 2022.08.18 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 蒋忠元　刘正道　李兴华　马建峰　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 田文英　王品华 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) (54)发明名称 基于双流深度神经网络的数字图像伪造区 域定位方法 (57)摘要 本发明公开一种基于双流深度神经网络的 数字图像伪造区域定位方法， 主要解决现有图像 伪造检测方法普适性不高， 图像伪造关键特征提 取缺失， 伪造图像重要特征信息的遗漏问题。 本 发明实现的步骤为： 构建包括编码器、 特征融合 模块和解码器的双流深度神经网络； 编码器由两 个子特征提取器实现双流的特征提取； 利用由多 种类型图像伪造样本组成的训练集， 训练双流深 度神经网络， 对数字图像伪造区域进行定位。 由 于本发明使用双残差块、 单残差块、 特征融合模 块提取并学习图像的伪造特征， 实现了对数字图 像伪造区域定位的能力， 提高了图像伪造区域定 位的准确性与效率。 权利要求书3页 说明书12页 附图5页 CN 115170933 A 2022.10.11 CN 115170933 A 1.一种基于双流深度神经网络的数字图像伪造区域定位方法， 其特征在于， 利用构建 双流深度神经网络中的双残差块、 单残差块、 特征融合模块提取并学习图像的伪造特征， 实 现对数字图像伪造区域定位的能力； 该定位方法的步骤 包括如下： 步骤1， 构建双流深度神经网络中的编码器： 步骤1.1， 搭建由四个结构相同的双残差块串联组成的原 始图像采样单 元； 步骤1.2， 双残差块由输入层， 第一卷积层， 第一非线性运算层， 第二卷积层， 第一残差 卷积层， 非线性加法运算单元， 第二非线性运算层， 第三卷积层， 第四卷积层， 门控卷积层， 门控非线性 运算层， 第三非线性 运算层， 第二残差卷积层， 输出层组成； 步骤1.3， 第一卷积层、 第一非线性运算层、 第二卷积层、 非线性加法运算单元、 第一残 差卷积层依次串联后形成第一次残差传播的残差块、 第一次残差传播的残差块的输出结 果； 步骤1.4， 第三卷积层、 第二非线性运算层、 第四卷积层、 第三非线性运算层、 第二残差 卷积层依次串联 形成第二次残差传播的残差块； 步骤1.5， 输入层分别与第一卷积层、 第一残差卷积层、 第二残差卷积层连接， 再与第一 次残差传播的残差块， 门控卷积层， 门控非线性运算层， 第二次残差传播的残差块、 输出层 依次串联整体构成了双残差块； 步骤1.6， 根据图像分辨率的大小将输入层的通道参数设置为3， 输入神经元个数设置 为384×256个， 将第一、 第三卷积层、 第一、 第二残差卷积层的输入通道均设置为3， 输出通 道均设置为32， 核大小均设置为3 ×3， 滑动步长均设置为 1， 扩张系数均设置为 1， 将第二、 第 四卷积层的输入、 输出通道数均设置为32， 核 大小设置为3 ×3， 滑动步长 设置为1， 扩张系数 设置为1， 设置门控卷积层输入通道数为32， 输出通道大小设置为3， 核大小为3 ×3， 滑动步 长设置为1， 扩张系数设置为 1， 第一至第三 非线性运算层、 非线性加法运算单元均采用激活 函数ReLU实现， 输出层的输入、 输出通道数均设置为32； 步骤1.7， 搭建一个由高通滤波模块和四个结构相同的单残差块依次串联组成的高通 图像采样子网络； 步骤1.8， 高通滤波模块由输入层、 水平高通核、 垂直高通核、 叠加运算单元、 高通滤波 输出层组成； 步骤1.9， 将水平高通核、 垂直高通核、 叠加运算单元依次串联后， 再分别与输入层相 连， 构成高通滤波器， 高通滤波器与高通滤波输出层串联组成高通滤波模块； 步骤1.10， 根据输入的样本图像分辨率的大小设置高通滤波模块的通道参数为3， 设置 输入神经 元个数为384 ×256个， 设置卷积核大小为3 ×3； 步骤1.11， 单残差块包括输入层， 单次残差传播的残差块和输出层， 其中， 单次残差传 播的残差块由依次串联的第一卷积层、 第一非线性运算层、 第二卷积层、 第二非线性运算 层、 第一残差卷积层形成， 输入层分别与第一卷积层和 第一残差卷积层连接， 再与输出层串 联形成单残差块； 步骤1.12， 将第一卷积层、 第一残差卷积层的输入通道数均设置为3， 输出通道数设置 为32， 卷积核大小均设置为3 ×3， 滑动步长均设置为1， 扩张系数均设置为1， 将第二卷积层 输入、 输出通道数均设置为32， 卷积核大小设置为3 ×3， 滑动步长 设置为1， 扩张系数均设置 为1， 将第一、 第二 非线性运算层采用激活函数ReLU实现， 输出层的输入、 输出通道数均设置权　利　要　求　书 1/3 页 2 CN 115170933 A 2为32； 步骤1.13， 将原 始图像采样单 元与高通图像采样子网络串联构成编码器； 步骤2， 构建双流深度神经网络的特 征融合模块： 步骤2.1， 特征融合模块由特征拼接层， 第一卷积层， 第一非线性运算层， 第一池化层依 次串联组成； 步骤2.2， 根据原始图像采样单元与高通图像采样子网络输出的结果， 设置特征拼接层 的输入通道数为512， 设置输入神经元个数为24 ×16， 设置第一卷积层的输入通道数为512， 输出通道数为256， 核 大小为1×1， 步长为 1， 扩张系数为 1， 设置第一池化层的输入通道数为 256， 核大小为3 ×3， 步长为1； 步骤3， 构建双流深度神经网络的解码器： 步骤3.1， 解码器由第一输入层、 第二输入层、 解码器子模块组、 网络输出子模块依次串 联组成； 步骤3.2， 将四个结构相同的解码器子模块串联组成解码器子模块， 第 一输入层输入当 前状态的特征张量， 第二输入层输入原始图像采样单元中对应的双残差块的输出特征张 量， 解码器子模块由特 征张量拼接层、 第一非线性 运算层、 双残差块依次串联组成； 步骤3.3， 将第一卷积层和第二非线性 运算层串联组成网络 输出子模块； 步骤3.4， 设置解码器参数情况如下， 根据特征融合层的输出特征张量， 设置特征张量 拼接层的输入通道数为512， 神经元个数为24 ×16， 设置第一非线性运算层为激活函数 ReLU， 设置双残差块的输入通道数为512， 输出通道数为128， 设置第一卷积层的输入通道数 为32， 输出通道数为1， 卷积核为1 ×1， 步长为1， 扩张系数为1； 步骤4， 构建双流深度神经网络： 将编码器， 特 征融合模块， 解码器依次串联组成双流深度神经网络； 步骤5， 生成训练集： 步骤5.1， 将至少4500个伪造图像样本组成图像伪造样本集， 该样本集中至少包括三种 不同伪造类型的图像， 每种类型图像的比例要求 为1： 1： 1； 步骤5.2， 将图像伪造样本集中的每个样本依次进行裁剪和归一化操作， 将归一化后的 所有样本组成训练集； 步骤6， 训练双流深度神经网络： 将训练数据集按照批次依次输入到双流深度神经网络中， 使用随机梯度下降SGD的梯 度优化算法对网络参数进行优化， 迭代更新卷积神经网络的权重值和学习率， 直至网络的 交叉熵损失函数收敛为止， 得到训练好的双流深度神经网络； 步骤7， 对数字图像伪造区域进行定位： 步骤7.1， 将待定位的数字图像依次进行裁 剪、 归一化的预处 理操作； 步骤7.2， 将预处理后的数字图像输入到训练好的双流深度神经网络中， 输出伪造定位 后的预测图像。 2.根据权利要求1中所述的基于双流深度神经网络的数字图像伪造区域定位方法， 其 特征在于， 步骤1.8中所述的水平高通核如下：权　利　要　求　书 2/3 页 3 CN 115170933 A 3