基于频域变换和残差反馈模块的图像拼接篡改检测方法

摘要

本发明为一种基于频域变换和残差反馈模块的图像拼接篡改检测方法，包括：第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；第三步，特征图E’经过特征解码器模块，得到定位掩码M；特征解码器模块包括四个残差反馈解码模块。本方法采用双编码器模块来提取特征，经过密集空洞卷积模块和残差多核池化模块来扩展全局视野以捕获更多抽象特征和保留更多空间信息，克服了因丢失上下文空间信息，容易导致错误预测，无法准确检测和定位较小尺寸的拼接篡改区域的缺陷。

说明书

技术领域

本发明属于图像分析技术领域，具体是一种基于频域变换和残差反馈模块的图像拼接篡改检测方法。

背景技术

随着计算机技术、数字图像处理技术以及Photoshop、ACD-See、iPhoto等图像编辑软件的快速发展，图像篡改和伪造可以处理得特别逼真，达到以假乱真的目的。利用伪造的图像能够扭曲事实真相，对社会造成极大的危害。近年来，篡改和伪造图像被多次用于军事、外交、科研等领域，对社会产生了不良的影响。因此，对伪造图像进行检测是十分有意义的。

拼接篡改是图像篡改中最常见的一种方式，是指将同一幅图像或者不同图像的某个对象或某个区域进行剪切，然后不作任何修改地粘贴到目标图像中，即将两幅或多幅图像的某个区域拼接到另一幅图像中，或者将一幅图像的某个区域复制粘贴到这幅图像的另一区域上以隐藏重要目标。

针对图像拼接篡改的检测方法主要分为两种：传统方法和基于深度学习的方法。

传统的图像拼接篡改检测方法一般是基于图像本质属性、图像压缩属性或者成像器件属性的检测方法，这些检测方法一般集中在一个特定的图像属性上，在实际检测中存在如下缺陷：如果在拼接伪造过程后进行一些隐藏处理，基于图像本质属性的检测方法可能会失败；基于图像压缩属性的检测方法只能检测JPEG格式保存的图像；基于成像设备属性的检测方法可能会在图像的设备噪声强度很弱的情况下导致检测失败。

近年来，随着深度学习技术的发展，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功。CNN的特征提取使一些研究者认识到CNN也可以用来完成图像拼接篡改检测。CNN最初是用来判断图像是否被篡改，但它无法定位篡改区域。Y.Zhang在论文“Image regionforgery detection:Adeep learning approach”中，试图用CNNs来定位被篡改区域，但是检测到的区域仅仅是由一些正方形的白块组成的不精确的粗糙区域，这种基于CNN的检测方法只是初步尝试，效果并不理想。为了提高检测篡改区域的精度，Y.Wei在论文“C2r net:The coarse to refined network for image forgery detection”中使用非重叠图像块作为CNNs的输入。然而，当一个图像块完全来自篡改区域时，该图像块将被判定为未篡改标签。B.Liu在论文“Deep fusion network for splicing forgery localization”中，利用较大的图像块来揭示篡改区域的图像属性，但是如果伪造图像较小，则可能会导致检测失败。

针对上述方法的缺陷，现有技术中的改进方法有：文献“Image forgerylocalizationbased on multi-scale convolutional neural networks”(Y.Liu,Q.Guan,X.Zhao,and Y.Cao,“Image forgery localization based on multi–scaleconvolutional neural networks,”in Proc.6th ACM Workshop Inf.Hiding MultimediaSecur.(IH&MMSec),2018,pp.85–90.)提出了一种基于多尺度卷积的方法，提取不同尺度的图像块特征，解决了拼接区域大小限制的问题。文献“Adversarial Learning forConstrained Image Splicing Detection and Localization based onAtrousConvolution”(Y.Liu,X.Zhu,X.Zhao,and Y.Cao,“Adversarial learning forconstrained image splicing detection and localization based on atrousconvolution,”IEEE Trans.Inf.Forensics Security,vol.14,no.10,pp.2551–2566,Oct.2019.)提出了一种基于空洞卷积的深度匹配模型(DAMC)，进一步提升了识别精度。

总之，相关拼接图像的篡改检测方法的现有技术存在因丢失上下文空间信息，容易导致错误预测，无法准确检测和定位较小尺寸的拼接篡改区域。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于频域变换和残差反馈网络拼接图像篡改的检测方法。

本发明解决该技术问题所采用的技术方案是：

一种基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，该方法包括以下步骤：

第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；

频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换；残差反馈模块支路共包含五个残差反馈编码模块，每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层；

第二残差反馈编码模块的输出与第一频域变换模块的输出进行通道数融合后作为第三残差反馈编码模块的输入，第三残差反馈编码模块的输出与第二频域变换模块的输出进行通道数融合后作为第四残差反馈编码模块的输入，第四残差反馈编码模块的输出与第三频域变换模块的输出进行通道数融合后作为第五残差反馈编码模块的输入；

第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；

密集空洞卷积模块包含四个空洞卷积分支，特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图；四种特征图分别进行上采样后再与特征图F进行通道数相加，得到特征图E；

残差多核池化模块包括四个池化层，特征图E经过残差多核池化模块的四个池化层后分别进行上采样，然后将上采样后的特征图与特征图E进行通道数融合，得到特征图E’；

第三步，特征图E’经过特征解码器模块，得到定位掩码M；

特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数；

特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第一残差反馈解码模块，得到第一残差反馈解码模块的输出；将第一残差反馈解码模块的输出经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第二残差反馈解码模块，得到第二残差反馈解码模块的输出；将第二残差反馈解码模块的输出经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出与第一频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第三残差反馈解码模块，得到第三残差反馈解码模块的输出；将第三残差反馈解码模块的输出经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块的输出进行通道数融合，然后经过第四残差反馈解码模块，得到第四残差反馈解码模块的输出，第四残差反馈解码模块的输出再经过卷积，得到定位掩码M；

至此完成基于频域变换和残差反馈模块的图像拼接篡改检测。

与现有技术相比，本发明所具有的突出的实质性特点和显著进步如下：

(1)本发明采用由频域变换和残差反馈解码模块构成的双编码器模块来提取特征，再经过密集空洞卷积模块和残差多核池化模块，来扩展全局视野以捕获更多抽象特征和保留更多空间信息，最后经过特征解码器模块得到拼接篡改区域的定位掩码，完成对图像拼接篡改的检测，克服了现有技术因丢失上下文空间信息，容易导致错误预测，无法准确检测和定位较小尺寸的拼接篡改区域的缺陷。

(2)本发明使用残差反馈解码模块在拼接篡改图像上进行提取特征，使得未拼接篡改区域和拼接篡改区域之间的图像属性差异更加明显；使用频域变换，提取图像中像素的方向信息，提高了检测性能；使用密集空洞卷积模块和残差多核池化模块，以捕获更多高级特征并保留更多空间信息。

(3)公开号为CN110414670A的文献公开了一种基于全卷积神经网络的图像拼接篡改定位方法，是利用训练好的网络对测试图像进行预测并将预测结果通过条件随机场进行后处理，输出测试图像最终的预测结果，该方法网络结构复杂，网络参数量大，而且该方法存在着无法准确定位小目标篡改区域的缺陷。本发明方法与CN110414670A相比，网络结构更简单，能够更快达到收敛，并且有着更好的检测结果。

(4)公开号为CN106815836A的文献公开了一种数字图像拼接篡改盲检测方法，该方法将图像分割成不重叠的若干个子块并且根据颜色偏量估计算法估计每一个子块的颜色偏量，然后再选择出颜色偏量的参考区域，计算出参考区域之外的颜色偏量与整个图像的参考颜色偏量之间的欧式距离，该方法随着图片分辨率的增大，所需要的计算空间也会增大，并且也有无法实现像素级的定位篡改区域的缺陷。本发明方法与CN106815836A相比，直接将图像进行处理输入到网络中，不需要进行分割，并且检测结果也更加准确，能够实现像素级的定位。

(5)公开号为CN106056523A的文献公开了数字图像拼接篡改盲检测方法，该方法利用LMD和CCDCT方法分别对图像特征提取，将LMD和CCDCT方法提取的特征作为混合特征结合Adaboost分类器来对篡改图像进行检测，但是LMD会存在能量泄露和保留信号信息不完整以及对篡改区域定位效果差的缺陷。本发明方法与CN106056523A相比，利用图像更多的空间信息，能够更加全面地表示篡改图像和非篡改图像之间的差异，准确检测篡改区域，提高了定位的准确性。

(6)公开号为CN109816676A的文献公开了一种基于颜色滤波阵列特性拼接图像篡改检测方法，将待检测图像分成多个图像块的预处理，然后估算原始图像模式，最后利用边缘检测算子进行篡改定位检测，该方法采用Canny算子对篡改部分定位检测，但存在着错误区分，检测篡改区域准确率低的缺陷。本发明方法与CN109816676A相比，所提出的网络是一个端到端的网络，不需要对图像进行预处理，并且能够更准确的检测出篡改区域。

(7)公开号为CN103914839A的文献公开了一种基于隐写分析的图像拼接篡改检测方法及装置，该方法使用高级隐写统计分析模型提取特征，使用SVM或Ensemble分类器对特征进行分类，但是以上分类器只提取了统计特性，丢失了图像的局部信息，这容易导致错误预测，存在无法在像素级准确检测和定位拼接图像的篡改区域的缺陷。本发明方法与CN103914839A相比，采用了密集空洞卷积模块和残差多核池化模块，扩展了全局视野，捕获更多抽象特征和保留更多空间信息，实现了像素级检测定位，提升了检测的准确性。

(8)公开号为CN106683074A的文献公开了一种基于雾霾特性的图像篡改检测方法，利用篡改区域之间以及非篡改区域之间的相似性，为每个篡改区域和非篡改区域求出一个权重，然后将篡改区域和非篡改区域进行加权来对篡改区域进行检测定位，当拼接图像和宿主图像是由相同相机拍摄时，这方法有着一定的局限性，并且存在无法准确检测定位篡改区域的缺陷。本发明方法与CN106683074A相比，采用深度学习卷积神经网络，不再局限于图像来自相同相机，并且对篡改图像的定位性能有了很大提升。

附图说明

图1是本发明的网络结构示意图；

图2是本发明的密集空洞卷积模块的结构示意图；

图3是本发明的残差多核池化模块的结构示意图；

图4是本发明的输入图像；

图5是图4经过检测后得到的定位掩码M示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明，并不用于限定本申请的保护范围。

本发明为一种基于频域变换和残差反馈模块的图像拼接篡改检测方法(简称方法)，包括以下步骤：

第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；

频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换；残差反馈模块支路共包含五个残差反馈编码模块，每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层；

第二残差反馈编码模块的输出与第一频域变换模块的输出进行通道数融合后作为第三残差反馈编码模块的输入，第三残差反馈编码模块的输出与第二频域变换模块的输出进行通道数融合后作为第四残差反馈编码模块的输入，第四残差反馈编码模块的输出与第三频域变换模块的输出进行通道数融合后作为第五残差反馈编码模块的输入；

第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；密集空洞卷积模块包含四个空洞卷积分支，特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图；四种特征图分别进行上采样后再与特征图F进行通道数相加，得到特征图E；

残差多核池化模块包括四个池化层，特征图E经过残差多核池化模块的四个池化层后分别进行上采样，然后将所有上采样后的特征图与特征图E进行通道数融合，得到特征图E’；

第三步，特征图E’经过特征解码器模块，得到定位掩码M；

特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数；

特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第一残差反馈解码模块，得到第一残差反馈解码模块的输出；将第一残差反馈解码模块的输出经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第二残差反馈解码模块，得到第二残差反馈解码模块的输出；将第二残差反馈解码模块的输出经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出与第一频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第三残差反馈解码模块，得到第三残差反馈解码模块的输出；将第三残差反馈解码模块的输出经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块的输出进行通道数融合，然后经过第四残差反馈解码模块，得到第四残差反馈解码模块的输出，第四残差反馈解码模块的输出再经过卷积，得到定位掩码M；

至此完成基于频域变换和残差反馈模块的图像拼接篡改检测。

每个残差反馈编码模块的两个卷积层依次连接，然后经过Relu函数，最后是池化层，池化层的卷积核大小均为2×2；第一残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为3，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第二残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为32，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为76，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第四残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为256，第二个卷积层的输入维度为256，输出维度为256；第五残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为268，输出维度为256，第二个卷积层的输入维度为256，输出维度为256。

密集空洞卷积模块的第一空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层；密集空洞卷积模块的第二空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层和一个卷积核大小为1×1、空洞率为1的卷积层；密集空洞卷积模块的第三空洞卷积分支包含两个卷积核大小均为3×3、空洞率分别为1和3的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层；密集空洞卷积模块的第四空洞卷积分支包含三个卷积核大小均为3×3，空洞率分别为1、3、5的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层。

残差多核池化模块的四个池化层的卷积核大小为2×2、3×3、5×5和6×6；特征图F经过密集空洞卷积模块得到的四种特征图分别使用大小为1×1的卷积层和双线性插值进行上采样。

第一残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为528，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第二残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为536，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为280，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第四残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为32，第二个卷积层的输入维度为32，输出维度为32。

实施例

本实施例的基于频域变换和残差反馈模块的图像拼接篡改检测方法(参见图1-5)，具体步骤如下：

第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；

频域变换支路用于提取图像中像素的方向信息，并在检测网络的学习和决策过程中与残差反馈模块支路的残差反馈编码模块协同作用，能够准确定位属于小目标的拼接篡改区域，提升对拼接篡改区域的定位性能升，实现了像素级检测定位，保证检测的准确性；具体操作如下：

以CASIA数据集为例，将输入图像(参见图4)调整为384×256像素大小，输入到频域变换支路，频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换，每个小波变换得到12个特征图；利用频域变换支路对输入图像的每个通道图像执行三次小波变换；输入图像经过三次小波变换分解得到36个特征图；

小波变换表示为：

(LL

式(1)中，DWT(·)为小波变换，x

残差反馈模块支路是在输入图像上进行提取特征，使得未拼接篡改区域和拼接篡改区域之间的图像属性差异更加明显，具体操作如下：

如图1所示，残差反馈模块支路共包含五个残差反馈编码模块，经过残差反馈编码模块各自的池化层后每个残差反馈编码模块输出特征图的大小变为输入特征图的二分之一；每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层，两个卷积层依次连接，然后是经过Relu函数，最后是池化层，池化层的卷积核大小均为2×2；第一残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为3，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第二残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为32，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为76，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第四残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为256，第二个卷积层的输入维度为256，输出维度为256；第五残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为268，输出维度为256，第二个卷积层的输入维度为256，输出维度为256。

将输入图像调整到384×256像素大小，输入残差反馈模块支路；输入图像经过第一残差反馈编码模块后得到32个特征图，再经过第二残差反馈编码模块后输出64个特征图，第二残差反馈编码模块输出的64个特征图与第一频域变换模块输出的12个特征图进行通道数融合后得到76个特征图，这76个特征图经过第三残差反馈编码模块后得到128个特征图，这128个特征图与第二频域变换模块输出的12个特征图进行通道数融合后得到140个特征图，这140个特征图经过第四残差反馈编码模块后得到256个特征图，这256个特征图与第三频域变换模块输出的12个特征图进行通道数融合后得到268个特征图，将这268个特征图作为第五残差反馈编码模块的输入，第五残差反馈编码模块输出256个特征图，这256个特征图共同构成特征图F；

残差反馈编码模块表述为：

y＝F((σ(F(x)+x)+x)+x)+x (2)

式(2)中，x为残差反馈编码模块的输入，F(·)表示卷积操作，σ(·)表示Relu函数，y为残差反馈编码模块的输出；

卷积层表述为式(3)：

x

式(3)中，x

池化层表述为式(4)：

Pooling

式(4)中，Pooling

Relu函数为式(5)：

式(5)中，Relu

第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；

采用密集空洞卷积模块处理上述第一步得到的特征图F，得到特征图E；然后采用残差多核池化模块处理特征图E，得到特征图E’，具体操作如下：

如图2所示，密集空洞卷积模块包含四个空洞卷积分支，第一空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层；第二空洞卷积分支包含一个卷积核大小为3×3、空洞率为1的卷积层和一个卷积核大小为1×1、空洞率为1的卷积层；第三空洞卷积分支包含两个卷积核大小均为3×3、空洞率分别为1和3的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层；第四空洞卷积分支包含三个卷积核大小均为3×3，空洞率分别为1、3、5的卷积层以及一个卷积核大小为1×1、空洞率为1的卷积层；

随着每个空洞卷积分支的空洞率的变化，每个空洞卷积分支感受野将是3,7,9,19；每个空洞卷积分支经过Relu函数得到输出；特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图F

E＝F+F

式(6)中，特征图F

特征图E经过残差多核池化模块，生成特征图E’；

残差多核池化模块包括大小为2×2、3×3、5×5和6×6四个池化层，特征图E经过四个池化层后输出四个不同尺寸的特征图；然后使用大小为1×1的卷积层和双线性插值分别对四个特征图进行上采样，使上采样后的特征图与特征图E的尺寸相同；按照式(7)将所有上采样后的特征图和特征图E进行通道数融合，得到特征图E’，即残差多核池化模块的输出；

E'＝cat(E,E

式(7)中，E

第三步，特征图E’经过特征解码器模块，得到定位掩码M；

特征解码器模块用于恢复从特征双编码器模块、密集空洞卷积模块和残差多核池化模块中提取的高级语义特征；

特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数，先是转置卷积，然后是两个卷积层，最后是Rule函数；第一残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为528，输出维度为128，第二个卷积层的输入维度为128，输出维度为128；第二残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为536，输出维度为64，第二个卷积层的输入维度为64，输出维度为64；第三残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为280，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第四残差反馈解码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为140，输出维度为32，第二个卷积层的输入维度为32，输出维度为32。

特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的268个特征图进行通道数融合得到528个特征图，然后这528个特征图经过第一残差反馈解码模块后，输出128个特征图；将第一残差反馈解码模块输出的128个特征图经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的140个特征图进行通道数融合得到536个特征图，然后将这536个特征图经过第二残差反馈解码模块后，输出64个特征图；将第二残差反馈解码模块输出的64个特征图经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出和第一频域变换模块的输出融合后的76个特征图进行通道数融合得到280个特征图，然后将这280个特征图经过第三残差反馈解码模块后，输出32个特征图；将第三残差反馈解码模块输出的32个特征图经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块输出的32个特征图进行通道数融合得到140个特征图，然后将这140个特征图经过第四残差反馈解码模块后，输出32个特征图；最后第四残差反馈解码模块输出的32个特征图再经过大小为1×1的卷积，得到如图5所示的定位掩码M；

将输入图像以8幅为一组输入到由上述双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块组成的网络中，通过上述第一步的双编码器模块提取输入图像的特征图F，上述第二步采用密集空洞卷积模块和残差多核池化模块获得特征图E’，上述第三步采用特征解码器模块获得最终的定位掩码M；

然后使用式(8)计算与ground-truth(真实值)之间的二值交叉熵损失函数，通过最小化二值交叉熵损失函数使由上述双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块组成的网络的参数达到最优，具体操作如下：

二值交叉熵损失函数的计算如下：

式(8)中，Y(i,j)∈{0,1}为输出Y′中第i行第j列像素点对应的真实标签，采用Adeleta算法优化二值交叉熵损失函数，经过上述操作由此完成了上述第一步到第三步的由双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块组成的网络的训练操作；

基于频域变换和残差反馈模块的图像拼接篡改检测方法的度量：

计算上述第三步中所获得的定位掩码M与输入图像真实值之间的精确率(Precision)、召回率(Recall)和平均值F1值，如下公式(9)—(8)所示；

公式(9)—(11)中，TP为拼接篡改区域被预测为图像拼接篡改区域的像素点数目，FP为真实区域被预测为图像拼接篡改区域的像素点数目，FN为拼接篡改区域被预测为真实区域的像素点数目；

至此，完成了基于频域变换和残差反馈模块的图像拼接篡改检测。

表1为本实施例的实验结果Ours与现有技术ELA、NOI、CFA的实验结果比较：

表1不同检测方法的实验结果比较

ELA(Error Level Analysis，参见文献《N.Krawetz and H.F.Solutions,“Apicture’sworth,”Hacker Factor Solutions,vol.6,no.2,p.2,2007.》)只能检测JPEG格式保存的图像，这方法有一定的局限性，并且检测结果仅能定位拼接篡改区域的大致轮廓，无法进行精细化定位，对于拼接篡改区域的内部定位较差。NOI(Noise inconsistency，参见文献《B.Mahdian and S.Saic,“Using noise inconsistencies for blind imageforensics,”Image and Vision Computing,vol.27,no.10,pp.1497–1503,2009.》)是根据噪声差异进行检测，如果图像的设备噪声强度很弱，这种方法就存在可能检测失败的缺陷。CFA(Color Filter Array，参见文献《P.Ferrara,T.Bianchi,A.De Rosa,and A.Piva,“Image forgery localization via fine-grained analysis of cfa artifacts,”IEEETransactions on Information Forensics and Security,vol.7,no.5,pp.1566–1577,2012.》)是根据颜色滤波列阵插值的不一致性进行检测，如果在拼接伪造过程后进行一些隐藏处理，该方法可能会失败，并且随着图片分辨率的增大，该方法所需要的计算空间也会增大，同时也有无法实现像素级的定位篡改区域的缺陷。

由表中可知，本方法的定位结果的准确性均高于现有技术ELA、NOI、CFA；由于本发明利用双编码器模块、密集空洞卷积模块、残差多核池化模块和特征解码器模块构建了具有深度学习功能的卷积神经网络，采用由频域变换和残差反馈编码模块构成的双编码器模块来提取特征，采用密集空洞卷积模块和残差多核池化模块来扩展全局视野，以捕获更多抽象特征和保留更多空间信息，提升了对于拼接篡改图像的定位性能，实现了像素级检测定位，提升了检测的准确性。

本发明未述及之处适用于现有技术。