基于端到端深度神经网络的复制-粘贴伪造图像取证方法

摘要

本发明公开了基于端到端深度神经网络的复制‑粘贴伪造图像取证方法，其特征在于，包括：步骤一，构造端到端Dense‑InceptionNet神经网络模型，所述端到端Dense‑InceptionNet神经网络模型包括Dense‑InceptionNet金字塔特征提取模块、特征相关性匹配模块和层次化后处理模块和步骤二，训练所述端到端Dense‑InceptionNet神经网络模型。与现有技术相比，本发明模型主要以特征相关性为学习对象，通过特征匹配线索搜寻疑似伪造区域，并能在像素级别精准定位伪造区域。

说明书

技术领域

本发明涉及图像伪造取证领域，尤其涉及基于端到端深度神经网络的复制-粘贴伪造图像取证方法。

背景技术

随着图像处理技术的进步以及简单易用的图像编辑软件的普及，对数字图像的修改已经变得容易且常见。人们可以通过使用图像编辑软件对图像内容进行修改和处理，使得图像可以按照修改者的意愿来传达信息。尽管大多数图像编辑软件的使用者是出于个人的兴趣爱好来修改图像。但是，不法分子会对图像进行恶意伪造，向公众传播虚假的信息，以达到其违法犯罪的目的。在众多的图像伪造技术中，复制-粘贴伪造以其技术简单且效果真实，逐渐成为最常用的伪造方式。图像复制-粘贴伪造技术是复制一幅图像中一个或多个区域，粘贴到同一幅图像的不同区域，以达到掩盖或者扰乱图像重要信息的目的。因此，近10年来，图像复制-粘贴伪造取证或检测算法应运而生，用于判断一幅图像是否经过了复制-粘贴伪造。

现有的图像复制-粘贴伪造检测算法主要可分为基于块特征的检测算法和基于关键点的检测算法。其中，基于块的检测算法包括：步骤1，将图像分割成相互重叠的矩形图像块；步骤2，通过块特征提取算法提取每个图像块特征；基于块的特征提取算法主要有基于频域的方法，如：

(1)离散小波变换(discrete wavelet transform,DWT)，M.Bashar,K.Noda,N.Ohnishi,and K.Mori,“Exploring duplicated regions in natural images[J],”IEEETrans.Image Process.,to be published；

(2)离散余弦变换(Discrete Cosine Transform,DCT)，J.-C.Lee,C.-P.Chang,and W.-K.Chen,“Detection of copy-move image forgery using histogram oforientated gradients[J],”Inf.Sci.,vol.321,pp.250–262,Nov.2015；

和基于不变矩的特征提取方法，如：

(1)傅里叶-梅林变换(Analytic Fourier-Mellin transform,AFMT)，C.-M.Punand J.-L.Chung,“A two-stage localization for copy-move forgery detection[J],”Inf.Sci.,vols.463–464,pp.33–55,Oct.2018；

(2)模糊不变矩，B.Mahdian and S.Saic,“Detection of copy-move forgeryusing a method based on blur moment invariants[J],”Forensic Sci.Int.,vol.171,no.2,pp.180–189,2007；

(3)Zernike矩，S.-J.Ryu,M.Kirchner,M.-J.Lee,and H.-K.Lee,“Rotationinvariantlocalization of duplicated image regions based on Zernike moments[J],”IEEE Trans.Inf.Forensics Security,vol.8,no.8,pp.1355–1370,Aug.2013；

(4)极复指数变换(Polar complex exponential transform,PCET)，X.Bi,C.-M.Pun,and X.-C.Yuan,“Multi-level dense descriptor and hierarchical featurematching for copy-move forgery detection[J],”Inf.Sci.,vol.345,pp.226–242,Jun.2016；

(5)极余弦变换(Polar cosine transform,PCT)，Y.Li,“Image copy-moveforgery detection based on polar cosine transform and approximate nearestneighbor searching[J],”Forensic Sci.Int.,vol.224,nos.1–3,pp.59–67,2013；

(6)径向谐波傅里矩(Radial Harmonic Fourier moments,RHFMs)，J.Zhong,Y.Gan,and S.Xie,“Radon odd radial harmonic Fourier moments in detectingcloned forgery image[J],”Chaos,Solitons Fractals,vol.89,pp.115–129,Aug.2016；

步骤3，使用块匹配算法搜索块特征的相关性，将相似的图像块特征进行匹配，块匹配的方法包括：

(1)KD树，B.Mahdian and S.Saic,“Detection of copy-move forgery using amethod based on blur moment invariants[J],”Forensic Sci.Int.,vol.171,no.2,pp.180–189,2007；

(2)局部敏感哈希(Locality Sensitive Hashing,LSH)，S.-J.Ryu,M.Kirchner,M.-J.Lee,and H.-K.Lee,“Rotation invariant localization of duplicated imageregions based on Zernike moments[J],”IEEE Trans.Inf.Forensics Security,vol.8,no.8,pp.1355–1370,Aug.2013；

(3)增强相干敏感搜索(Enhanced Coherency Sensitive Searching(ECSS))，X.Bi and C.-M.Pun,“Fast copy-move forgery detection using local bidirectionalcoherency error refinement[J],”Pattern Recognit.,vol.81,pp.161–175,Sep.2018；

(4)双通道哈希搜索(Two-Pass Hashing and Searching)，J.-L.Zhong,C.-M.Pun,“A Two-Pass Hashing and Searching method for Copy-Move ForgeryDetection,”Inf.Sci.,vols.512,pp.675-692,2020；

步骤4，后处理操作，通过一组匹配特征的相关性来提升检测算法的性能，现有的后处理操作的技术包括：C.-M.Pun and J.-L.Chung,“A two-stage localization forcopy-move forgery detection[J],”Inf.Sci.,vols.463–464,pp.33–55,Oct.2018。

基于关键点的检测算法使用关键点算法如：

(1)尺度不变特征变换(scale-invariant feature transform,SIFT)，D.G.Lowe,“Object recognition from local scale-invariant features[C],”in Proc.IEEEInt.Conf.Comput.Vis.,Sep.1999,vol.99,no.2,pp.1150–1157；

(2)I.Amerini,L.Ballan,R.Caldelli,A.Del Bimbo,and G.Serra,“A SIFT-based forensic method for copy-move attack detection and transformationrecovery[J],”IEEE Trans.Inf.Forensics Security,vol.6,no.3,pp.1099–1110,Sep.2011；

(3)X.Pan and S.Lyu,“Region duplication detection using image featurematching[J],”IEEE Trans.Inf.Forensics Security,vol.5,no.4,pp.857–867,Dec.2010；和加速鲁棒特征(speeded up robust features,SURF))如B.Shivakumar andL.D.S.S.Baboo,“Detection of region duplication forgery in digital imagesusing SURF[J],”Int.J.Comput.Sci.Issues,vol.8,no.4,pp.199–205,2011来来搜索图像中的高熵区域来寻找局部极值点。由于只需要匹配稀疏的极值点，关键点匹配比块匹配算法高效。

一般来说，基于块的检测算法有缺陷，如：计算复杂度高、对大尺度缩放鲁棒性低。而基于关键点的检测算法无法检测出光滑的伪造区域。

最近几年，有学者提出辅助深度神经网络(Deep Neural Network,DNN)来解决复制-粘贴伪造问题。如：Liu团队运用DNN作为一个特征提取器(Y.Liu,Q.Guan,and X.Zhao,“Copy-move forgery detection based on convolutional kernel network[J],”Multimedia Tools Appl.,vol.77,no.14,p.18269–18293,2018)；Ying团队使用图像的小波特征作为深度自编码网络的输入(Y.Zhang,J.Goh,L.L.Win,and V.L.Thing,“Imageregion forgery detection:A deep learning approach[C],”in Proc.Singapore CyberSecur.R&D Conf.,2016,pp.1–11)；Bunk等运用DNN作为一个块的分类器(J.Bunk,J.H.Bappy,T.M.Mohammed,L.Nataraj,A.Flenner,B.S.Manjunath,S.Chandrasekaran,A.K.Roy-Chowdhury,and L.Peterson,“Detection and localization of imageforgeries using resampling features and deep learning[C],”in Proc.IEEEConf.Comput.Vis.Pattern Recognit.Workshops,Jul.2017,pp.1881–1889)。

经典的方法和辅助深度神经网络都有巨大的缺陷，即它们的三个主要步骤(特征提取、特征分类匹配和伪造区域的后处理)都是相互独立而不是将其融合成为一个整体。因此，在独立的步骤中，人为地调整不同的参数是很困难。一些机器学习算法，如：PatchMatch(D.Cozzolino,G.Poggi,and L.Verdoliva,“Efficient dense-field copy-move forgerydetection[J],”IEEE Trans.Inf.Forensics Security,vol.10,no.11,pp.2284–2297,Nov.2015)和相关敏感哈希(Coherency Sensitive Hashing,CSH)(X.Bi and C.-M.Pun,“Fast reflective offset-guided searching method for copy-move forgerydetection[J],”Inf.Sci.,vol.418,pp.531–545,Dec.2017；X.Bi and C.-M.Pun,“Fastcopy-move forgery detection using local bidirectional coherency errorrefinement[J],”Pattern Recognit.,vol.81,pp.161–175,Sep.2018)提出在一个整体结构中去训练算法所有步骤。然而，这些机器学习算法依赖于提取的块特征。因此，它们和基于块方法具有相同的缺陷，不能有效处理经受缩放攻击的伪造对象。而且，这类型方法只能通过已学习的单一特征来处理图像伪造检测的问题。对于处理存在于图像内新类型的伪造对象，之前学习训练的优化的参数，需要重新初始化模型并且多次迭代重新进行优化以处理新对象目标。这也导致了这类型方法的效率比基于DNN方法要低很多。Wu等提出了一个端到端的DNN方法检测复制-粘贴伪造图像(Y.Wu,W.Abd-Almageed,and P.Natarajan,“Imagecopy-move forgery detection via an end-to-end deep neural network[C],”inProc.IEEE Winter Conf.Appl.Comput.Vis.,Mar.2018,pp.1907–1915.)。然而，该方法完全依靠DNN结构，导致无法识别多种类别的伪造目标，尤其是没有经过训练的目标类别。

发明内容

为克服现有图像复制-粘贴伪造取证算法存在的不足，本发明提出基于端到端深度神经网络的复制-粘贴伪造图像取证方法。

本发明基于端到端深度神经网络的复制-粘贴伪造图像取证方法，包括：

步骤一，构造端到端Dense-InceptionNet神经网络模型，所述端到端Dense-InceptionNet神经网络模型包括Dense-InceptionNet金字塔特征提取模块、特征相关性匹配模块和层次化后处理模块，其中

所述Dense-InceptionNet金字塔特征提取模块包括预处理块、三个Dense-InceptionNet金字塔特征提取子块和三个过渡块，所述预处理块将输入图像调整为统一的尺寸，以及对图像进行一次预处理卷积池化；所述Dense-InceptionNet金字塔特征提取模块用于提取多尺度和多维度特征；每个所述特征Dense-InceptionNet金字塔特征提取模块紧跟一个相应的过渡块，所述过渡块对Dense-InceptionNet金字塔特征提取模块所提取的特征图进行特征深度的压缩和特征尺寸的降采样；

所述特征相关性匹配模块包括三个匹配子模块，三个匹配子模块以所述三个过渡块的输出特征图作为对应的匹配子模块的输入特征图，分别计算求得三幅对应的匹配系数图；

所述层次化后处理模块使用交叉熵计算所述三幅匹配系数图的损失值，并将三幅匹配系数图的损失值进行组合用于网络的反向传播；

步骤二，训练所述端到端Dense-InceptionNet神经网络模型。

进一步地，所述三个Dense-InceptionNet金字塔特征提取子块分别内置4个、5个和6个特征提取层，所述每个特征提取层包括两个并行且相互独立的Conv-BN-ReLU结构，所述Dense-InceptionNet金字塔特征提取子块每一特征提取层输出的特征图均由两个Conv-BN-ReLU结构所输出的特征图拼接而成，当前特征提取层输出的特征图作为下一特征提取层的输入，每个特征提取子块的特征提取层输出的特征图都会拼接在一起作为当前金字塔特征提取子块的总输出特征图。

进一步地或更进一步地，所述预处理块预处理的步骤包括

步骤S11：将输入图像调整为统一的256×256×3尺寸；

步骤S12：使用9×9×3较大尺寸的24个卷积核对图像进行卷积操作得到24层的特征图；

步骤S13：对经过卷积得到的特征图进行正则化，使特征图的每一层具有相近的分布；

步骤S14：使用线性整流函数和均值池化对特征图进行处理；

步骤S15：在预处理块中输出一个128×128×24尺寸的特征图。

进一步地，所述特匹配子模块中的匹配系数图的生成，包括步骤：

假设一幅尺寸为N×N，通道数为M的特征图，则其每个像素都是特征点，每个像素在M个特征通道上的所有数据组成一个特M通道的征向量，一组特征点集合表示为P＝{P

其中，C

其中，

C

当满足阈值时，在特征点P

其中E(X

更进一步地，所述阈值T使用固定值0.6。

进一步地，步骤一中所述层次化后处理模块使用交叉熵计算所述三幅匹配系数图的损失值，其交叉熵损失函数为公式(5)，

L

其中，E

L＝αL

其中，L表示训练图像的总损失图，参数α,β,η通过使用特征图的通道数求得。

进一步地，步骤二中所述端到端Dense-InceptionNet神经网络模型时的评价标准F

其中，精度表示正确检测的图像(像素)占所有检测图像(像素)的比例；召回率表示正确检测的图像(像素)占所有伪造图像(像素)的比例。

本发明的有益效果在于，与现有技术相比，本发明模型主要以特征相关性特征为学习对象，通过特征匹配线索搜寻疑似伪造区域，并能在像素级别精准定位伪造区域。

附图说明

图1是本发明中端到端Dense-InceptionNet神经网络模型结构示意图

具体实施方式

下面将参照附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明的一个实施例中，基于端到端Dense-InceptionNet神经网络的图像复制-粘贴伪造取证方法包括：

步骤一：构造端到端Dense-InceptionNet神经网络模型。

所述端到端Dense-InceptionNet神经网络模型模型主要分为三个模块：Dense-InceptionNet金字塔特征提取(Pyramid Feature Extractor,PFE)模块、特征相关性匹配(Feature Correlation Matching,FCM)模块和层次化后处理(Hierarchical Post-Processing,HPP)模块。

其中，金字塔特征提取(PFE)模块由三部分组成：预处理块、三个Dense-InceptionNet金字塔特征提取子块和三个过渡块(Transition Blocks)。首先，预处理块先将输入图像调整为统一的256×256×3尺寸，以及对图像进行一次预处理卷积池化；然后，三个设计好的Dense-InceptionNet金字塔特征提取模块用于提取多尺度和多维度特征；随后，每个特征提取子块后会紧跟着一个相应的过渡块，对所提取的特征图进行特征深度的压缩和特征尺寸的降采样。

预处理块中将输入图像调整为统一的256×256×3尺寸。然后，使用9×9×3较大尺寸的24个卷积核对图像进行卷积操作(Convolution,Conv)得到24层的特征图。随后，对经过卷积得到的特征图进行正则化(Batch Normalization,BN)，使特征图的每一层具有相近的分布。接着，使用线性整流函数(Rectified Linear Unit,ReLU)和均值池化(AveragePooling,AvgPool)对特征图进行处理。最终，在预处理块中输出一个128×128×24尺寸的特征图。预处理块的卷积核参数和输出通道数如表1所示。

表1:预处理模块的卷积核参数和输出通道数

本发明基于DenseNet神经网络结构提出了Dense-InceptionNet金字塔特征提取块，包含了3个金字塔特征提取子块。三个子块分别内置4、5、6个特征提取层(Dense-InceptionNet Layers)。每一特征提取层都包含两个并行Conv-BN-ReLU(Conv1-BN1-ReLU1-Conv2-BN2-ReLU2)结构组成。同一层的两个结构是独立的，不会相互影响。Dense-InceptionNet金字塔特征提取子块I、II、III的卷积核参数和输出通道数如表2、3、4所示。Dense-InceptionNet金字塔特征提取子块每一层输出的特征图均由两个Conv-BN-ReLU结构所输出的特征图拼接而成。而且当前层输出的特征图作为下一层的输入。最终，每一层输出的特征图都会拼接在一起作为当前金字塔特征提取子块的总输出特征图。由此，可得到金字塔特征提取子块I、II、III的特征输出图分别为(128×128,72@[(1×1),(5×5,7×7)])，(64×64,96@[(1×1),(3×3,5×5)])，(32×32,120@[(1×1),(1×1,3×3)])，相应的输出特征图尺寸128×128，64×64和32×32，输出通道数分别为72，96，120。

表2:金字塔特征提取子块I的卷积核参数和输出通道数

表3:金字塔特征提取子块II的卷积核参数和输出通道数

表4:金字塔特征提取子块III的卷积核参数和输出通道数

每个Dense-InceptionNet金字塔特征提取子块I、II、III输出特征图之后，紧跟着相应特征过渡块I、II、III对输出特征图的尺寸和通道数进行压缩和降采样。每个过渡块由Conv-BN-ReLU-AvgPool组成。所有过渡块的参数和特征图输出通道数如表5所示。

表5:过渡块的参数和输出通道数

金字塔特征提取模块的整体结构以及中间过程的特征图深度及尺寸如表6所示。

表6:PFE模块的结构和特征图尺寸

特征相关性匹配(FCM)模由三个匹配子块组成。三个过渡块的输出特征图(PFE

假设一幅尺寸为N×N，通道数(维数)为M的特征图，则其每个像素都是特征点，每个像素在M个特征通道上的所有数据组成一个特M通道的征向量。一组特征点集合表示为P＝{P

其中，C

其中，

C

其中，阈值T使用固定值0.6。当满足阈值时，在特征点P

其中E(X

通过以上得步骤，可以对三幅过渡块的输出特征图(PFE

层次化后处理HPP模块使用交叉熵计算三幅匹配系数图的损失值，并将三幅匹配系数图的损失值进行组合用于网络的反向传播。

通过FCM模块得到的三幅匹配系数图(FCM

L

其中，E

将三幅插值的特征匹配系数图(FCM

L＝αL

其中，L表示训练图像的总损失图，参数α,β,η通过使用特征图(FCM

其中，36表示FCM

步骤二：训练所述基于端到端Dense-InceptionNet神经网络模型。

训练网络模型包括：训练数据集的设置、评价标准和训练策略。

本发明的实施例中，训练数据集有6个，分别为Copy-move Hard(CMH)(

E.Silva,T.Carvalho,A.Ferreira,and A.Rocha,“Going deeper into copy-move forgery detection:Exploring image telltales via multi-scale analysis andvoting processes[J],”J.Vis.Commun.Image Represent.,vol.29,pp.16–32,May2015.)、MICC-F200(I.Amerini,L.Ballan,R.Caldelli,A.Del Bimbo,and G.Serra,“ASIFT-based forensic method for copy-move attack detection and transformationrecovery[J],”IEEE Trans.Inf.Forensics Security,vol.6,no.3,pp.1099–1110,Sep.2011)、MICC-F2000(V.Christlein,C.Riess,J.Jordan,C.Riess,andE.Angelopoulou,“An evaluation of popular copy-move forgery detectionapproaches[J],”IEEE Trans.Inf.Forensics Security,vol.7,no.6,pp.1841–1854,Dec.2012.)、GPIP(D.Cozzolino,G.Poggi,and L.Verdoliva,“Efficient dense-fieldcopy-move forgery detection[J],”IEEE Trans.Inf.Forensics Security,vol.10,no.11,pp.2284–2297,Nov.2015.)、Coverage(B.Wen,Y.Zhu,R.Subramanian,T.-T.Ng,X.Shen,and S.Winkler,“COVERAGE—A novel database for copy-move forgerydetection[C],”in Proc.IEEE Int.Conf.Image Process.,Sep.2016,pp.161–165.)和SUN(J.Xiao,J.Hays,K.A.Ehinger,A.Oliva,and A.Torralba,“SUN database:Large-scalescene recognition from abbey to zoo[C],”in Proc.IEEE Comput.Soc.Conf.Comput.Vis.Pattern Recognit.,Jun.2010,pp.3485–3492.)。

同时，这6个数据集的每幅图像的伪造区域都经过了几何变换(旋转和缩放)和后处理操作，用以扩充训练数据。按照8:1:1的比例将总计131,778幅伪造图像分割成训练集、验证集和测试集。训练集的内容包含了各种自然环境、动物、植物、人工建筑及多类别的混合。这有助于Dense-InceptionNet神经网络可以学习不同图像对象内容的内在相关性。然后，使用图像标注工具LableMe标注每幅图像的复制-粘贴伪造区域，并生成标定图或标签图(Ground-truth)。在标签图中，复制-粘贴区域表示为绿色，真实区域表示为蓝色。

使用F

其中，精度表示正确检测的图像(像素)占所有检测图像(像素)的比例；召回率表示正确检测的图像(像素)占所有伪造图像(像素)的比例。

Dense-InceptionNet神经网络模型使用Python语言，运用Pytorch框架进行搭建。使用两块NVIDIA RTX2070 GPU显卡对模型进行训练和测试。模型参数进行初始化时，1×1卷积层的参数权重使用均值为0方差为0.1的高斯分布进行初始化，偏置值初始化为0。而其他卷积层使用随机数来对参数权重进行初始化。所有输入图像在进行模型训练之前，其尺寸调整为256×256×3。在训练初始阶段时，使用Adam优化器和设置学习率为0.01来调整模型参数。当验证集的损失函数值(loss)在迭代循环20次后处于平稳期，调整为使用随机梯度下降优化器和设置学习率为0.0001来继续训练模型。模型一共迭代训练1000次。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。