图像篡改被动检测技术一览：基于特征提取和卷积神经网络的篡改检测

极市导读： 本文聚焦于归纳和总结数字图像篡改被动检测方法，对基于特征提取和基于卷积神经网络的两类篡改检测方法进行全面论述，分析其中不足与问题，并讨论了数字图像篡改被动检测技术未来的发展趋势。

目录

• 0 前言

• 1 基于特征提取的传统篡改检测

  • 1.1 复制黏贴篡改检测方法
  • 1.2 拼接组合篡改检测方法

• 2 基于卷积神经网络的篡改检测

• 3 未来发展趋势

  • 面向互联网共享环境下的数字图像篡改检测研究
  • 面向大规模图像数据集的数字图像篡改检测研究

0前言

随着图像编辑技术的不断发展，人们可以轻松地篡改图像内容或者操纵图像生成过程，使得图像的真实性和完整性受到挑战，严重影响了人们对新闻报道、军事经济中图像真实度的信任。在已有的研究范围里，学者们将图像内容篡改类型总体分为两类：

（1）复制粘贴篡改（Copy-move）

（2）拼接组合篡改（Splicing）

复制粘贴篡改是指是在同一幅图像上，将部分区域复制粘贴到该图中的其它位置；拼接组合篡改是指将一幅图像中的某个区域拷贝到另一幅图像中以生成新的图像。

数字图像篡改检测按照是否预先在数字图像中嵌入附加信息可以分为主动检测和被动检测（也叫盲检测）两种[1]，篡改主动检测技术主要包括数字签名技术和数字水印技术，这两种方法的共同点是：需要图像提供方进行摘要信息的提取或者水印的嵌入，即在实际检测时需要图像提供方进行配合，这一条件在实际操作中很难满足。因此无须对数字图像进行预前处理的数字图像篡改被动检测技术成为当前图像检测领域的研究热点。数字图像篡改被动检测技术大体上被分为两类：

（1）基于特征提取的传统篡改检测技术

（2）基于卷积神经网络的篡改检测技术

在早期的研究中，研究者大多将注意力集中在图像本身的统计信息和物理特性上，采用基于图像的特征提取方法来检测篡改区域，比如从镜头失真矫正、颜色插值、传感器噪声等图像生成过程中不同的处理信号入手，大量的篡改被动检测算法和数学模型被提出[2-5]，在信息受限的场景中得到良好的应用，进一步地促进了数字图像取证领域的发展。但是传统的篡改检测技术只是针对图像的某一种属性进行设计，使得最终的检测率不是很高并且鲁棒性也较差，导致基于特征提取的篡改检测算法很难在实际当中高质量、高效率地解决图像的信息安全问题。

近年来，随着深度学习技术的不断发展，尤其以AlexNet为代表的卷积神经网络(Convolutional Neural Network，CNN)[6]在特征提取方面的优异表现，加之其在图像分类、语义分割、物体识别等计算机视觉任务上取得的可观成绩，一些研究学者尝试使用深度学习技术解决数字图像的篡改检测问题。基于卷积神经网络的篡改检测技术利用深度学习网络的多层结构和强大的特征学习能力实现不依赖于图像的单一属性的篡改检测，弥补了基于特征提取的传统图像篡改检测技术适用度不高的缺点。基于卷积神经网络的篡改检测技术不仅可以定位篡改区域，而且还能给出相应的篡改类型，在现有的用于数字图像取证的公开数据集的实验中，基于卷积神经网络的篡改检测算法效果优于传统图像的篡改检测算法，并表现出较好的鲁棒性。

现有数字图像篡改检测被动检测相关综述主要聚焦于传统检测方法，如Chu等[6]阐述了目前国内外学者在JPEG图像篡改的被动取证技术方面的主要研究成果，基于篡改和方法的不同，将目前检测方法分为双重JPEG压缩检测方法和JPEG块效应不一致性检测方法。Du等[7]总结了目前基于底层线索和基于学习的感知哈希图像篡改检测方法，并根据方法的不同特点进行更为细致的分类。整体缺乏对利用卷积神经网络来设计图像篡改检测方法的阐述。本文聚焦于归纳和总结数字图像篡改被动检测方法，分析其中的不足和面临的问题，对现有的代表性工作和方法尤其是基于卷积神经网络的方法的主要框架进行论述。讨论数字图像篡改被动检测技术未来的发展趋势并给出结论。

1 基于特征提取的传统篡改检测

传统的篡改被动检测技术基于图像统计信息和物理特征分别对复制黏贴和拼接组合的两种篡改手段提出相应的检测方法。研究学者根据篡改手段和图像属性的不同，将检测方法分成五个类别，即基于重叠块的检测方法、基于特征点的检测方法、基于图像属性的检测方法、基于设备属性的检测方法和基于压缩属性的检测方法。图像篡改检测类型及技术如图1所示：

图1 图像篡改检测类型及技术

1.1复制黏贴篡改检测方法

复制粘贴篡改的一般原理是将同一幅图像中相似的物体，平移到图像的另一个区域中。由于此类篡改操作对图像的变动较小，因此不易被人发现。复制粘贴篡改定义如图2所示：

图2 复制粘贴示意图

令 f ( x , y ) \mathrm{f}(\mathrm{x}, \mathrm{y}) f(x,y)表示原始图像， g ( x , y ) \mathrm{g}(\mathrm{x}, \mathrm{y}) g(x,y)表示复制粘贴篡改之后的图像。 A j \mathrm{A}_{\mathrm{j}} Aj​和 A i \mathrm{A}_{\mathrm{i}} Ai​表示原始区域， A j \mathrm{A}_{\mathrm{j}} Aj​'和 A i \mathrm{A}_{\mathrm{i}} Ai​'表示复制区域。 图像的原始区域和复制区域分别有位移差 Δ D i = ( x i , y i ) \Delta \mathrm{D}_{\mathrm{i}}=\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{i}}\right) ΔDi​=(xi​,yi​)和 Δ D j = ( x j , y j ) , \Delta \mathrm{D}_{\mathrm{j}}=\left(\mathrm{x}_{\mathrm{j}}, \mathrm{y}_{\mathrm{j}}\right), ΔDj​=(xj​,yj​),则篡改图像可以表示为式 1 :

g ( x , y ) = f ( x cos ⁡ ∂ + y sin ⁡ ∂ − Δ x , x sin ⁡ ∂ + y cos ⁡ ∂ − Δ y ) \mathrm{g}(x, y)=f(x \cos \partial+y \sin \partial-\Delta x, x \sin \partial+y \cos \partial-\Delta y) \\ g(x,y)=f(xcos∂+ysin∂−Δx,xsin∂+ycos∂−Δy)

其中(x, y)表示像素点，f(x,y)表示图像在点(x, y)处的像素值，∆x、∆y是对应分量的坐标点差值，是系统参数。

1.1.1基于重叠快的篡改检测方法

基于重叠块的篡改检测方法是将输入的图像划分为相互重叠的像素块，每一个像素块根据不同的变换计算规则得出相应的变换值，该变换值作为此像素块的特征值，由此作为检测该区域是否被篡改的依据。因此该方法的重点是依据相关数学原理在特征提取的过程中计算得到块特征。根据具体实现方法的不同，可将基于重叠块的检测方法再次细分为 （1）单一几何变换法；（2）复合几何变换法。

下面分别针对这两个角度阐述相关工作。

（1）单一几何变换法。

单一几何变换法是指基于一种数字图像变换理论，实现高效快速地篡改检测。Fridrich等[7]提出一种基于频率的复制粘贴篡改检测方法，先将图片分割成相互重叠的块，利用离散余弦变换（Discrete Cosine Transform，DCT）提取出各个图像块的特征向量。通过匹配和滤波，两个相似的特征向量分别对应图像中两个相似区块，即复制粘贴篡改区域。Luo等[8]通过比较相似重叠快，使用主成分分析（Principle Component Analysis）的方法最终确定可能的重复区域，并且可以对经过处理的图像（比如对图像进行模糊化、噪声污染等）进行较好的复制粘贴篡改检测。

（2）复合几何变换法。

为了进一步提高检测的准确性，一些工作融合不同的几何变换理论，使提取的图像块特征更接近于期望值。如Li G等[9]提出了一种基于离散小波变换（Discrete Wavelet Transform，DWT）和奇异值分解（Signal value Decomposition，SVD）的复制粘贴被动检测方法，首先将离散小波变换用于图像分割，通过奇异值分解对小波中的低频分量进行降维表示，然后按照字典顺序对向量进行分类，复制粘贴的图像块将分类在相邻列表，该方法通过降维操作不仅可以降低计算的复杂度，而且对于高度压缩的图像或者边缘处理的图像，也能准确定位篡改区域。在具体实现上与单一几何方法不同，作者充分利用DWT和SVD分别在图像块分割和降维特征提取方面的优势，实现了在检测效率和检测质量均良好的性能。

1.1.2基于特征点的篡改检测方法

由于基于重叠块的篡改检测方法在输入的图像尺寸特别大、分割的重叠快特别多时，特征值计算和特征匹配过程缓慢，算法的时间复杂度高。为了提高检测精度和降低算法的时间复杂度，一些学者提出了基于特征点的篡改检测方法。

1999年David Lowe在计算机视觉国际会议上提出SIFT算法，即尺度不变特征变换（Scale-invariant feature transform，SIFT）[10]，该算法可在图像中检测出关键点，广泛用于数字图像的特征描述。研究学者在这一理论基础上进行改进优化，开展一系列基于特征点的篡改检测方法的研究。

Amerini等[11]仿造SIFT在关键点识别和聚类方面的设计思路，提出一种基于J-Linkage算法的复制粘贴篡改检测及其定位的方法，在几何变换空间内展现了鲁棒性较高的聚类效果，实现对复制区域更好地预测和识别。Ardizzone E等[12]提出一种新颖的利用特征点进行篡改检测的方法，该方法首先从图像中提取特征点（关键点），然后将对象建模为建立在这些点上的一组连接的三角形，根据三角形的形状、颜色信息以及提取到的三角形顶点的局部特征向量来进行匹配，这种方法相对于单一的块匹配和点匹配实现了更高检测精度，同时设计的算法对几何变换具有良好的鲁棒性。

虽然基于特征点的篡改检测方法从图像的高熵区提取特征信息，得到的特征向量的数目小，对于特征匹配的时间较短，从而使得该方法的总体效率比基于重叠块的篡改检测方法总体效率高，但是也有其不足之处，当图像本身的对比度不高、光照一致性不足、图像压缩程度较高时，提取到的特征点会大大减少导致算法失效。

1.2拼接组合篡改检测方法

不同于复制粘贴篡改方式，图像的拼接组合篡改操作的内容来源更广泛，不局限于图像内部的场景，因此拼接组合的篡改检测具有更大的挑战性。

拼接组合篡改可定义如下，如图3所示：

图3 拼接组合示意图

令两幅原始图像分别为f1(x,y)和f2(x,y)，两幅图像的截图操作分别为系统函数H1(x,y)和H2(x,y)，则拼接组合操作后的图像g(x,y)可表示为式2：

g ( x , y ) = f 1 ( x , y ) ∗ H 1 ( x , y ) + f 2 ( x , y ) ∗ H 2 ( x , y ) \mathrm{g}(x, y)=f_{1}(x, y)^{*} H_{1}(x, y)+f_{2}(x, y)^{*} H_{2}(x, y) g(x,y)=f1​(x,y)∗H1​(x,y)+f2​(x,y)∗H2​(x,y)

其中(x, y)表示像素点，f(x,y)表示图像在点(x, y)处的像素值。

1.2.1基于图像属性的篡改检测方法

在基于图像属性的篡改检测研究中，一部分研究学者尝试从不同图像来源所产生的不同图像统计信息来寻找特征。目前算法研究主要包括双相干特征、自然图像统计模型和边缘检测。

（1）双相干特征。Tiansong Ng等[14]研究了利用双相干特征进行篡改被动检测的，并提出了使用幅值和相位作为特征来检测拼接组合篡改的存在，最后利用支持向量机（SVM）的分类方法对提出的图像属性特征的检测结果进行评价，检测准确度能达到70%。为了弥补经验观测与理论解释之间的差距，后来该作者又在此工作基础上提出并研究了一种基于双极信号噪声思想来检测拼接组合篡改引起的图像内容的断层[15]，进一步提高了识别的准确度。

（2）自然图像统计模型。Shi等[16]提出自然图像模型，该模型由从给定的测试图像中提取的统计特征和应用于测试图像的多尺度块离散余弦变换生成的二维阵列组成，用于区分篡改和未篡改图像。

（3）边缘检测。除上述两种思路外，由于拼接组合篡改导致图像边缘像素相关度的不连续性也会产生具有可分辨性的特征模式。例如，Dong等[17]将图像边缘像素信息进行拼接检测，判断是否发生篡改。Wang等[18]利用不同图像拼接时色度阈值的差异，提出了一种基于边缘图像灰度共生矩阵的彩色图像篡改检测方法，该方法采用Boosting[19]特征选择器来确定最优特征，然后通过支持向量机对特征进行分类。

1.2.2基于设备属性的篡改检测方法

现代多种数字设备（如数码相机、扫描仪、手机等）都可以生成数字图像，不同成像设备来源的数字图像虽然在视觉上并没有太大差异，但是由于各种设备特征的不同（如感光元件、颜色插值等），其产生的数字图像也会有不同的可分辨性特征，通过对这些设备属性特征的提取，使用相应的取证算法进行篡改检测。该方法可以从两个角度来实现，其一是根据彩色滤波阵列（Color Filter Array，CFA），其二是根据相机的传感器噪声（Sensor Noise）。数字图像成像过程如图4所示：

图4 数字图像成像过程

（1）根据彩色滤波阵列（CFA）插值检测。其原理是：CFA插值是通过将捕获的输出转换为红色、绿色、蓝色三原色通道（Red、Green and Blue，RGB）来重建全彩色图像的过程，数码相机得到一幅彩色图像，需要通过周围像素的值估计出缺失的其他两种颜色的分量信息，即为 CFA 插值过程。不同的成像设备有不同的插值算法，拼接组合篡改会导致两个区域插值像素的不连续。Dirik和Memon[20]利用CFA产生的伪影来检测图像篡改，他们提出了两个思路，一种是基于CFA模式估计，另一种是基于CFA插值像素中的传感器噪声功率应显著低于非插值像素。在此理论基础上，Popescu等[21]提出基于线性模型对CFA插值的相关性进行建模，通过EM算法（Expectation-Maximization algorithm, 最大期望算法）[22]计算出像素的相关性系数并对图像拼接做出检测。为了更好地理解像素相关性系数，选择标准互相关系数（如式3所示）来衡量RGB颜色分量间的相关性强度。

ρ ( I 1 , I 2 ) = ∑ ( n 1 , n 2 ) ( I 1 ( n 1 , n 2 ) − E I 1 ) ( I 2 ( n 1 , n 2 ) − E I 2 ) ∑ ( n 1 , n 2 ) ( I 1 ( n 1 , n 2 ) − E 1 ) 2 ∑ ( n 1 , n 2 ) ( I 2 ( n 1 , n 2 ) − E I 2 ) 2 \rho\left(I_{1}, I_{2}\right)=\frac{\sum_{\left(n_{1}, n_{2}\right)}\left(I_{1}\left(n_{1}, n_{2}\right)-E_{I_{1}}\right)\left(I_{2}\left(n_{1}, n_{2}\right)-E_{I_{2}}\right)}{\sqrt{\sum_{\left(n_{1}, n_{2}\right)}\left(\mathrm{I}_{1}\left(\mathrm{n}_{1}, \mathrm{n}_{2}\right)-\mathrm{E}_{1}\right)^{2}} \sqrt{\sum_{\left(n_{1}, \mathrm{n}_{2}\right)}\left(\mathrm{I}_{2}\left(\mathrm{n}_{1}, \mathrm{n}_{2}\right)-\mathrm{E}_{\mathrm{I}_{2}}\right)^{2}}} ρ(I1​,I2​)=∑(n1​,n2​)​(I1​(n1​,n2​)−E1​)2 ​∑(n1​,n2​)​(I2​(n1​,n2​)−EI2​​)2 ​∑(n1​,n2​)​(I1​(n1​,n2​)−EI1​​)(I2​(n1​,n2​)−EI2​​)​

式中 I 1 , I 2 \mathrm{I}_{1}, \mathrm{I}_{2} I1​,I2​表示两个不同的矩阵， E 1 \mathrm{E}_{1} E1​为矩阵 I \mathrm{I} I的期望值, M , N \mathrm{M}, \mathrm{N} M,N表示矩阵的行、列，并且 1 ≤ n 1 ≤ M , 1 ≤ n 2 ≤ N 1 \leq n_{1} \leq M, 1 \leq n_{2} \leq \mathrm{N} 1≤n1​≤M,1≤n2​≤N, 相关性系数 ∣ ρ ( I 1 , I 2 ) ∣ ≤ 1 , ρ \left|\rho\left(I_{1}, I_{2}\right)\right| \leq 1, \quad \rho ∣ρ(I1​,I2​)∣≤1,ρ越接近 1 说明两个矩阵的相关性越高。

（2）根据相机传感器噪声模式检测。其原理是：不同的图像具有不同的传感器噪声分布，由于拼接组合篡改来源于不同的两幅图像，因此拼接区域具有不同于原始图像的剩余区域中的噪声模式，利用这些差异可实现拼接组合篡改的检测。Lucas等[23]提出了一种检测相机传感器噪声的方法，当检测某个区域缺少对应的模式噪声时，即判断为篡改区域。Gao等[24]利用三组统计噪声特征进行图像篡改检测分析，包括去噪分析、小波分析和邻域分析，有效地区分了数字图像的原始区域和拼接组合区域。为了解决一些检测器对噪声敏感导致不能应对噪声退化的问题，Mahdian等[25]提出了一种简单的方法，他们将一幅图像分割成具有均匀噪声水平的各个分区，添加新的局部噪声可能会导致图像噪声的不一致，根据图像中不同的噪声级来检测篡改区域。

1.2.3基于压缩属性的篡改检测方法

基于压缩属性的篡改检测方法主要是针对于JPEG文件格式的图像。JPEG是一种常用的国际压缩标准，并且也是目前流行的图像格式之一，其在高压缩率的情况下仍然能保持较好的图片质量。确定图像是否被压缩是图像处理中的一个重要问题，在图像篡改检测中起着非常重要的作用。

Fraid[26]提出针对不同JPEG压缩生成的低质量图像的篡改检测方法，但是该方法只有在检测图像的一部分最初是低于图像其他部分的压缩品质时才有效。Ye等[27]提出在JPEG压缩过程中引入的块效应可以作为一种“自然认证码”，利用DCT系数直方图设计了一种估计局部JPEG压缩分块伪影度量技术，将伪影中的不一致性作为拼接篡改的证据。

在JPEG块效应的基础上，Luo等[28]将块伪影作为检测图像篡改的“水印”，提出了块伪影特征矩阵（Blocking Artifact Characteristics Matrix，BACM），并证明了对于原始的图像，BACM具有规则的对称性，对于从另一张JPEG图像中拼接过来的部分，BACM的规则对称性被破坏，充分利用这一特征对图像篡改进行检测。He等[29]提出了一种通过检测DCT系数中隐藏的双重量化效应来检测篡改的JPEG图像并进一步定位篡改部分的方法，该方法还具有其他优点：除了能够检测图像的拼接组合篡改之外，还可以检测由各种合成方法（如消光和修补）篡改的图像。但是当整幅图像被调整大小、旋转或者裁剪时，该方法会失效。

综上所述，自从图像内容安全性被重视以来，以图像篡改检测为目标的各项数字取证工作随之展开，虽然基于特征提取的传统篡改检测方法在实际应用中都有其不足之处，但是各种算法的提出有效提升了检测效果，进一步完善了图像内容安全保护机制。传统篡改检测算法对比如表1所示：

表1 传统篡改检测算法比较

其中，被攻击图像指的是经过处理的图像，比如对图像进行模糊化、噪声污染等。

2 基于卷积神经网络的篡改检测

近年来，随着深度学习技术的不断发展，卷积神经网络（Convolutional Neural Networks, CNN）[30]在特征提取方面的优异表现引起了图像取证领域学者的注意。在数字图像篡改检测方面，传统的篡改检测方法只是基于某种特定图像操作所引起的图像特征改变来进行分析，而卷积神经网络的优点在于其具有强大的特征学习能力，学习到的数据更能反映出数据的本质特征，有利于结果的分类和可视化。

Rao等[31]首次将卷积神经网络用于数字图像的篡改检测，该方法利用CNN从输入的RGB彩色图像中自动学习特征层次表示，为了保留更细微的篡改痕迹，作者使用Fridrich提出的空间丰富模型（Spatial Rich Model，SRM）[32]初始化网络参数，并采用特征融合技术得到最终判别特征。提出的方案与其它传统方法的检测性能进行了比较，如表2所示：

表2 首次基于CNN方法与传统方法的篡改检测准确率的比较

由表2可知，基于卷积神经网络的图像篡改检测算法在三个公开的数据集上的检测准确率均高于其他三个最新的传统篡改检测算法。由此，利用卷积神经网络提取数字图像的特征信息，可以更好地完成篡改图像的检测，随之研究者们提出了更多可观的思路和方案。
Zhang等[36]提出了一种两阶段的基于卷积神经网络的深度学习方法来学习篡改特征，第一阶段使用自动编码器模型来学习每个单独的篡改特征，第二阶段整合每个篡改特征的上下文信息以便更准确的进行检测，该方法不仅在JPEG文件格式的图像集上表现突出，而且对于CASIA数据集中的TIFF文件格式的图像上也实现了一定准确率的篡改检测。BAPPY等[37]从两阶段设计算法的思想中受到启发，采用了一个混合的CNN-LSTM模型来捕捉篡改区域和非篡改区域之间的区分特征，LSTM（Long Short Term Memory networks，长短期记忆模型）[38]是一种能够记录图像上下文信息的网络模型，作者的思路是将LSTM和CNN中卷积层的结合来理解篡改区域与非篡改区域共享的边界上像素之间的空间结构差异性，通过对网络端对端的训练以及利用反向传播机制让网络学习参数，整个框架能够检测包括复制粘贴和拼接组合不同类型的图像篡改操作。

Bondi等[39]结合图像成像设备属性的特点，提出了一种利用不同摄像机模型在图像上留下的特征足迹进行图像篡改检测和定位的算法，该算法的基本原理是，原始图像的所有像素都应该被检测为使用单一设备拍摄，相反如果通过拼接组合的篡改方式进行图像的合成，则可以检测出多个设备的痕迹。算法利用卷积神经网络从图像块中提取摄像机模型特征，然后利用迭代聚类的方法对特征进行分类以检测图像是否被伪造，并对篡改区域实现定位。该方法对于拼接组合篡改方式的图像具有很好的检测效果，但是对于复制粘贴的篡改图像，由于复制的部分来源于同一幅图像区域导致该方法不适用。

Liu等[40]提出了一种新的深度融合网络，通过跟踪篡改区域的边界来定位篡改区域。首先训练一组称为基网的深度卷积神经网络，分别对特定类型的拼接组合篡改进行响应，然后选取若干层基网络作为深度融合神经网络（Fusion Network，FN），融合网络通过对少量图像进行微调后，能够识别出图像块是否由不同的来源合成的。该方法中作者用大尺寸图像块作为网络的输入来揭示篡改区域的属性，但是当被篡改区域的尺寸较小时，该方法可能会失效。

为了学习更丰富的图像篡改特征，Zhou等[41]提出了一种双流Faster-RCNN网络，并对其进行端到端的训练，以检测给定的篡改图像区域。同时借助Faster-RCNN在目标检测领域的应用[42,43]，该网络不仅能准确定位篡改区域，还能标注出篡改类型，如是否为复制粘贴篡改等。网络结构如图5所示：

图5 双流Faster-RCNN网络结构示意图

其中，双流之一是RGB流，其目的是从输入的RGB图像中提取特征，以查找篡改伪影，如强对比度、非自然边界等。双流之二为噪声流，是利用富文本分析模型（SRM）滤波层中提取的噪声特征来揭示真实区域和篡改区域之间的噪声不一致性特征，然后通过双线性池化层融合来自两个流的特征，以进一步合并这两种模式的空间特性，提高检测准确性。该算法的贡献为（1）展示了Faster-RCNN网络如何适应图像篡改检测的双流模式；（2）证明了RGB流和噪声流对于检测不同的篡改方式是互补的。为之后做此方向继续深入研究的学者供了创新思路。

虽然上述基于深层网络结构的图像篡改算法可以学习到更高级的语义信息，但对篡改区域的检测和定位效果并不理想。基于此，Bi等[44]提出了一种基于级联卷积神经网络的图像篡改检测算法，在卷积神经网络的普遍特性的基础上，利用浅层稀神经元的级联网络代替以往深层次单一网络。该算法分为两部分：（1）级联卷积神经网络；（2）自筛选后处理；前者学习图像中篡改区域和非篡改区域的属性差异，实现多层级篡改区域定位，后者对级联神经网络的检测定位结果进行优化。

算法检测流程如图6所示：

图6 基于级联卷积神经网络算法的检测流程

其中，级联卷积神经网络由粗筛网络、粒提网络和精辨网络3级子网络串联组成，由于级联网络结构的灵活性，通过将不同的训练数据传输到不同层次的网络中，可以学习到特定的篡改特征。自适应筛选后处理的过程是对级联卷积神经网络的输出结果进行优化，通过自适应筛选器去除误检部分，然后对筛选结果进行空白填充。对比实验所参考的评价参数为精确率、召回率和F1值，分别表示为式4、式5和式6。结果表明，该算法效果优于传统图像篡改检测算法，并且表现出较好的鲁棒性。

为了进一步提高基于卷积神经网络的篡改检测方法的性能和检测效率，2019年Bi等又提出了一种环形残差网络（RRU-Net）[45]，可直接定位篡改区域而无需额外的预处理和后处理操作。该网络包含两个关键步骤：残差传播（Residual Propagation）和残差反馈（Residual Feedback），前者主要用于解决网络中梯度退化的问题，后者使篡改区域和非篡改区域的差异对比更加明显。作者提出残差反馈的背景是：在文献[41]中，Zhou使用SRM进一步放大差异，但存在一个缺点，即当被篡改区域和未被篡改区域来自同一相机品牌或型号时，由于它们具有相同或相似的噪声分布，SRM滤波器的帮助将非常小，而残差反馈的方法不仅仅关注一个或几个特定的图像属性，更加关注于输入信息中可辨识的特征。目前，该方法在检测效果上取得了良好的性能，并且在运算效率方面具有较大的优势。

3 未来发展趋势

由于数字图像篡改被动检测技术不需要额外的先验知识，在实际的司法取证、保证新闻真实性等场景中应用价值不言而喻，也促进了该领域学术研究的进步。综合上述近10年的发展历程，未来发展趋势可总结为两个层面，即面向互联网共享环境下的数字图像篡改检测研究和面向大规模图像数据集的数字图像篡改检测研究。

3.1面向互联网共享环境下的数字图像篡改检测研究

在目前的研究中，尤其是利用图像统计信息和物理特性的传统篡改检测方法的大部分工作还是局限于实验室环境的数据集，然而随着互联网的开放共享和各种即时通讯软件的应用，在实际生活中的图像通常会经过一系列再编辑的过程，比如裁剪缩放、美颜滤镜、压缩解码等，这些操作会在一定程度上破坏了像素之间的特征联系，从而导致现有的检测算法没有很好的达到预期性能。Wu[46]认为考虑到图像篡改检测本身具有迫切的应用需求，可以预见针对互联网共享环境下的检测算法研究是未来一个重要的研究内容，也是从实验室走向实际应用必须要解决的问题之一。

3.2面向大规模图像数据集的数字图像篡改检测研究

得益于计算机软件和硬件设备的不断升级，深度学习技术开始走向大众视野，研究学者在从大规模图像集中利用卷积神经网络学习特征时，不再支付昂贵的实验仪器费用，节省了大量的物力和财力。但是由于微信、微博等图像社交网络的流行，一方面研究学者可以获取大量经过复制粘贴和拼接组合的图像，为篡改检测算法有效性的研究提供了有利条件，但是另一方面大规模的图像数据对篡改检测算法造成了一些困难：Li等[47]认为由于需要提取原始图像和篡改后图像的区分特征，加之需要计算篡改区域和非篡改区域样本间的相关性，使数据规模增大，导致算法的时间复杂度大大增加。因此，如何应对大规模图像数据集，是数字图像篡改检测研究在未来必须要解决的一个重要难题。

参考文献

[1] Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[2] 魏为民,胡胜斌,赵琰.数字图像取证技术的发展[J].上海电力学院学报,2012,28(04):369-374.

[3] Shuyi Zhu,Xiaochun Cao,Handong Zhao. Photographic composite detection using circles[J]. Frontiers of Computer Science,2012,6(6).

[4] Qiong Dong,Gaobo Yang,Ningbo Zhu. A MCEA based passive forensics scheme for detecting frame-based video tampering[J]. Digital Investigation,2012,9(2).

[5] Xiuli Bi,Chi-Man Pun,Xiao-Chen Yuan. Multi-Level Dense Descriptor and Hierarchical Feature Matching for Copy–Move Forgery Detection[J]. Information Sciences,2016,345.

[6] 楚雪玲,魏为民,华秀茹,李思纤,栗风永.面向JPEG图像篡改的盲取证技术综述[J].上海电力学院学报,2019,35(06):607-613.

[7] Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[8] Luo W , Huang J , Qiu G . Robust Detection of Region-Duplication Forgery in Digital Image[C]// 18th International Conference on Pattern Recognition (ICPR 2006), 20-24 August 2006, Hong Kong, China. 2006.

[9] Li G , Wu Q , Tu D , et al. A Sorted Neighborhood Approach for Detecting Duplicated Regions in Image Forgeries Based on DWT and SVD[C]// Proceedings of the 2007 IEEE International Conference on Multimedia and Expo, ICME 2007, July 2-5, 2007, Beijing, China. IEEE, 2007.

[10] Lowe D G . Object Recognition from Local Scale-Invariant Features[C]// iccv. IEEE Computer Society, 1999.

[11] Irene Amerini,Lamberto Ballan,Roberto Caldelli,Alberto Del Bimbo,Luca Del Tongo,Giuseppe Serra. Copy-move forgery detection and localization by means of robust clustering with J-Linkage[J]. Signal Processing: Image Communication,2013,28(6).

[12] Ardizzone E , Bruno A , Mazzola G . Copy-Move Forgery Detection by Matching Triangles of Keypoints[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(10):1-1.

[13] Nillius P , Eklundh J O . Automatic estimation of the projected light source direction[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001.

[14] Tiantsong Ng S C . Blind Detection of Photomontage Using Higher Order Statistics[C]// International Symposium on Circuits & Systems. IEEE, 2004.

[15] Ng T.T, Chang S.F. A model for image splicing[C]//2004 International Conference on Image Processing, 2004. ICIP’04. IEEE, 2004, 2: 1169-1172.

[16] Shi Y.Q, Chen C, Chen W. A natural image model approach to splicing detection[C]//Proceedings of the 9th workshop on Multimedia & security. ACM, 2007: 5162.

[17] Dong J, Wang W, Tan T, et al. Run-length and edge statistics based approach for image splicing detection[C]//International workshop on digital watermarking. Springer, Berlin, Heidelberg, 2008: 76-87.

[18] Wang W, Dong J, Tan T. Effective image splicing detection based on image chroma[C]//2009 16th IEEE International Conference on Image Processing (ICIP). IEEE, 2009: 1257-1260.

[19] Yoav Freund,Robert E Schapire. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J]. Journal of Computer and System Sciences,1997,55(1).

[20] Dirik, A.E., Memon, N… Image tamper detection based on demosaicing artifacts[P]. Image Processing (ICIP), 2009 16th IEEE International Conference on,2009.

[21] Popescu A C , Farid H . Exposing digital forgeries in color filter array interpolated images[J]. IEEE Transactions on Signal Processing, 2005, 53(10):3948-3959.

[22] Couvreur C. The EM Algorithm: A Guided Tour[J]. 1996:115–120.

[23] Jan Lukáš,Jessica Fridrich,Miroslav Goljan. Detecting digital image forgeries using sensor pattern noise[P]. Electronic Imaging,2006.

[24] Gou H , Swaminathan A , Wu M . Noise Features for Image Tampering Detection and Steganalysis[C]// Image Processing, 2007. ICIP 2007. IEEE International Conference on. IEEE, 2007.

[25] Mahdian B , Saic S . Detection of Resampling Supplemented with Noise Inconsistencies Analysis for Image Forensics[C]// Computational Sciences and Its Applications, 2008. ICCSA '08. International Conference on. IEEE Computer Society, 2008:546-556.

[26] Farid, H. Exposing Digital Forgeries From JPEG Ghosts[J]. IEEE Transactions on Information Forensics and Security, 2009, 4(1):154-160.

[27] Ye S , Sun Q , Chang E C . Detecting Digital Image Forgeries by Measuring Inconsistencies of Blocking Artifact[C]// Multimedia and Expo, 2007 IEEE International Conference on. IEEE, 2007.

[28] Luo, Qu, Huang, et al. A Novel Method for Detecting Cropped and Recompressed Image Block[C]// IEEE International Conference on Acoustics. IEEE, 2007.

[29] He J , Lin Z , Wang L , et al. Detecting doctored JPEG images via DCT coefficient analysis[C]// Proceedings of the 9th European conference on Computer Vision - Volume Part III. Springer-Verlag, 2006.

[30] Lecun Y , Boser B , Denker J S , et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541-551.

[31] Rao Y , Ni J . A deep learning approach to detection of splicing and copy-move forgeries in images[C]// 2016 IEEE International Workshop on Information Forensics and Security (WIFS). IEEE, 2016.

[32] J. Fridrich, and J. Kodovsky, “Rich models for steganalysis of digital ´ images,” IEEE Transactions on Information Forensics and Security, vol.7, no. 3, pp. 868-882, June 2012.

[33] Ghulam Muhammad,Munner H. Al-Hammadi,Muhammad Hussain,George Bebis. Image forgery detection using steerable pyramid transform and local binary pattern[J]. Machine Vision and Applications,2014,25(4).

[34] He Z , Lu W , Sun W , et al. Digital image splicing detection based on Markov features in DCT and DWT domain[J]. Pattern Recognition, 2012, 45(12):4292—4299.

[35] X. Zhao, S. Wang, S. Li and J. Li.Passive Image-Splicing Detection by a 2-D Noncausal Markov Model[J].IEEE Transactions on Circuits and Systems for Video Technology, vol. 25, no. 2, pp. 185–199, Feb. 2015.

[36] ZHANG Ying, GOH J, WIN L L, et al. Image region forgery detection: A Deep Learning Approach[M]. MATHUR A and ROYCHOUDHURY R. Proceedings of the Singapore Cyber-Security Conference. Amsterdam: IOS Press, 2016: 1–11.

[37] Bappy M J H , Roy-Chowdhury A K , Bunk J , et al. Exploiting Spatial Structure for Localizing Manipulated Image Regions[C]// International Conference on Computer Vision (ICCV), 2017. IEEE Computer Society, 2017.

[38] Hochreiter S , Schmidhuber, Jürgen. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8):1735-1780.

[39] Bondi L , Lameri S , Guera D , et al. Tampering Detection and Localization Through Clustering of Camera-Based CNN Features[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2017.

[40] Liu B, Pun C M. Deep Fusion Network for Splicing Forgery Localization[C]//European Conference on Computer Vision. Springer, Cham, 2018: 237-251.

[41] Zhou, Peng, Han, Xintong, Morariu, Vlad I. Learning Rich Features for Image Manipulation Detection[J].

[42] Jiang H , Learned-Miller E . Face Detection with the Faster R-CNN[J]. 2016.

[43] Chen Y , Li W , Sakaridis C , et al. Domain Adaptive Faster R-CNN for Object Detection in the Wild[J]. 2018.

[44] 毕秀丽,魏杨,肖斌,李伟生,马建峰.基于级联卷积神经网络的图像篡改检测算法[J].电子与信息学报,2019,41(12):2987-2994.

[45] Xiuli Bi, Yang Wei, Bin Xiao, Weisheng Li. RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection[J].2019

[46] Wu Y , Abd-Almageed W , Natarajan P . Image Copy-Move Forgery Detection via an End-to-End Deep Neural Network[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018.

[47] Li Y , Zhou J . Fast and Effective Image Copy-Move Forgery Detection via Hierarchical Feature Point Matching[J]. IEEE Transactions on Information Forensics & Security, 2018:1-1.

◎作者档案
正蜀黍，万千AI开发者之一，专注于计算机视觉技术知识分享
欢迎大家联系极市小编（微信ID:fengcall19）加入极市原创作者行列