2. 北京邮电大学 智能通信软件与多媒体北京市重点实验室, 北京 100876
建立了照片可交换图像文件(EXIF)信息中的5个常用参数与图像统计噪声之间的相关性,利用这种相关性对图像的真实性做出判断.通过提取训练图像的统计噪声特征及5个EXIF特征,建立了二者的相关性,利用此相关性估计待检测图像的EXIF信息,再与照片本身的EXIF信息进行对比,进而判断其是否遭到篡改.实验结果显示,利用提出的方法对图像是否经过照片滤镜和模糊等修改进行检测,得到了较好的检测结果.
2. Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia, Beijing University of Posts and Telecommunications, Beijing 100876, China
In correlation between five common exchangeable image file (EXIF) parameters and image statistical noise for digital photos is built. The authenticity of the image is judged by this correlation. The statistical noise and five EXIF features from the training image are extracted, following the correlation established. Make use of the correlation to estimate EXIF information of testing images which will be compared with the real values. The comparison will determine the authenticity of testing images. Experiments on both tampered images and real images indicate the effectiveness of the proposed method.
随着数码相机以及其他各种图像捕捉工具的普及,图像在生活中无处不在,同时各种图像处理软件也如雨后春笋般应运而生,如Photoshop、ACDSee等.图像处理软件的易得、易学、易用的特点使得即使有较少图像处理知识的人也能对真实图像作一定的修改,其中就不乏一些人出于非法的目的对图像进行修改, 有些还会对政治和社会稳定带来严重的影响.
目前,图像被动盲取证比图像主动取证技术受到了更多的关注,根据盲取证所使用的特征不同,可将其分为基于图像修改遗留痕迹的取证技术,如光照不一致的取证[1]、基于相机标定的文字取证[2]以及Popescu团队研究的图像重采样检测等;基于EXIF成像设备一致性取证技术,如彩色滤波阵列插值检测[3]、色差检测以及相机响应常态性检测等;基于自然图像统计特性的取证技术,如双相干系数和百分比特征等技术. Fan等[4]研究了利用图像的EXIF特征来检测图像是否经过了亮度修改.在此理论基础上,探索图像统计噪声特征与图像的EXIF参数信息的相关性,利用此相关性来判别图像是否经过了照片滤镜或者模糊等篡改操作.
1 统计噪声与EXIF参数相关性分析EXIF文件最初由日本电子工业发展协会(JEIDA,Japan electronic industry development association)制订.最新版本EXIF 2.1现在已经得到广泛的认可,对于用户来说可以获得非常多完备的照片信息,如光圈、快门速度、日期时间以及相机品牌、型号等.查看一张照片的EXIF信息也十分简单,只要查看图片属性就可以了,无论是ACDSee、还是EXIFInfo、或者其他软件都毫无区别.对于图像EXIF信息的修改除非利用特殊的修改工具,单纯对图像内容的修饰是不会对图像的EXIF信息产生影响的.这为下面篡改图像的EXIF参数信息的真实值与估计值的比较提供了可能性.
光子传输曲线(PTC, photon transfer curve),给出了数字照相机信号强度(DCSI,digital camera signal intensity)与传感器噪声之间的关系,数字照相机信号强度也就是在快门打开的瞬间冲击到传感器的有效光子量,并且给出了在不同电荷耦合元件(CCD,charge-coupled device)变换模式下产生的噪声与相机信号强度的关系.又由于数字照相机的信号强度与EXIF参数设置有极大的关联,如光圈值、曝光时间等,可以建立图像统计噪声特征与EXIF参数之间的相关性,从而每个EXIF参数可以表示为图像统计噪声特征的加权组合.
2 基于二者相关性的图像鉴定如上所述,图像的统计噪声信息与图像EXIF参数信息有一定的相关性(如图 1所示),建立了EXIF信息与图像统计噪声特征相关性模型检测流程,其中训练过程即为建立二者相关性的过程,包括EXIF参数特征与图像统计噪声特征的提取,二者相关性的建立,其中Wj(j=1, 2, 3, 4, 5) 即为得到的相关性权重.检测过程包括对待检测图像进行与训练过程相同的EXIF与噪声特征提取操作,Yj(j=1, 2, 3, 4, 5) 为提取的第j个EXIF参数特征向量,X为提取的噪声特征向量,然后调用训练过程中得到的权重,估计待检测图像的几个常见的EXIF参数信息,并与真实EXIF信息做差得到误差值Ej,与经验阈值qj进行比较,取得判定结果.
图像的边缘区域有较高频的能量,这会影响到噪声特征提取,所以实验中只提取图像非边缘区域的统计噪声特征.这就需要在提取统计噪声特征之前区分图像的边缘区域和非边缘区域.
对于一幅真彩图A,首先将真彩图转换为灰度图像L,再对其进行高斯滤波,从而得到平滑视觉的图像O,然后将灰度图与平滑图做差,此差的绝对值即为残差图G.有
(1) |
如果B(p, q)=1,即说明此点为边缘区域;反之即为非边缘区域.其中:G(p, q)表示亮度残差图在(p, q)位置处的像素值,r为经验阈值.
为了保证边缘区域对图像统计噪声特征的影响达到最小,进一步扩大图像的边缘区域,也称为扩频操作
(2) |
其中V为一个3×3的全一的模板矩阵.
下面对图像的非边缘区域提取噪声特征,不同的图像滤波器可以去除图像不同类型的噪声.选择4种滤波方式作为滤波器集合:F(i), i=1, 2, 3, 4.利用这4种滤波方式分别对图像A的3个不同的颜色通道A(j), j∈{red, green, blue}进行滤波,所有的滤波方式都采用3×3像素块作为模板,按以下方式计算均值噪声μij与标准差噪声σij
(3) |
(4) |
其中:f(m, n)=|A(j)(m, n)-D(ij)(m, n)|,D(ij)=A(j)*F(i),*为卷积运算;R为非边缘区域像素点的个数总和.这样,每幅图像得到一个24维噪声特征向量,那么第p幅图像的24维噪声特征向量表示为
(5) |
提取与数字照片信号强度有关的几个参数信息来完成模型的建立,以达到检测照片是否经过了修改的目的.下面利用修改后的曝光方程对提取出来的EXIF参数信息进行相应的计算.
(6) |
其中:N为光圈数,t为曝光时间,I为ISO(international standards organization)感光速率.这样由第p幅图提取出的EXIF参数特征可表示为
(7) |
PTC曲线揭示了DCSI与传感器噪声之间的关系,并发现当图像的统计噪声标准差与DCSI均用对数形式表示时,可以观察到PTC较大的中心区域呈现出线性关系.在此,DCSI的对数形式与提取出的EXIF参数特征也是线性联系的,这一部分中,将建立图像的噪声特征与EXIF参数特征的相关性.
设提取出p幅图像的噪声特征为z1, z2, …,zp,相应的EXIF参数特征为y1, y2, …, yp,用噪声特征的加权组合来表述每一个EXIF参数特征.以第p幅图像的光圈值为例,其对应特征表述为
(8) |
其中:ep1为估计光圈值的误差,zp, i∈zp={zp, 1, zp, 2, …, zp, 24},wi, 1为第p幅图的第i个特征对估计光圈值参数时的权重.对于p幅图像,式(8) 可写成矩阵形式
(9) |
其中:
(10) |
同样,可以得到其他4个EXIF参数特征所对应的权重Wj
(11) |
此时,建立了噪声特征与EXIF参数间的相关性,下面利用此相关性对待检测图像进行检测.
2.4 图像篡改检测由图 1所示的检测流程可知,首先需对一幅待检测图像进行特征提取,设提取出的统计噪声特征与EXIF参数信息特征分别为
(12) |
这里将|ej|与阈值ρj作比较
(13) |
Uj=1表示检测图像为真实图像,Uj=0表示检测图像为篡改图像.
下面,综合5个EXIF参数估计误差得到综合评价误差U
(14) |
(15) |
U=1表示检测图像为真实图像,U=0表示检测图像为篡改图像.此处的阈值ρ以及上面的ρj都是在大量实验的基础上得到的经验阈值.
3 实验仿真及结果分析 3.1 实验仿真利用Matlab7.0实现了文中的模型算法.在建立此模型算法时,首先选取了由佳能IXUS-105相机所获得的310幅图像,这些图像是在不同的相机设置下拍摄的,并且也包含了较多类型的拍摄环境,如不同的光照条件,不同的曝光环境,不同的湿度环境等.其中10幅真实图像用来训练,300幅图像中100幅为真实图像,100幅图像进行了照片滤镜修改,剩余100幅进行了照片模糊的修改操作.步骤如下.
第1步 训练.
1) 对10幅训练图像区分其边缘区域和非边缘区域,非边缘区域按照2.1中的方法提取噪声特征构成矩阵X10×24;
2) 按照2.2中的方法对10幅训练图像提取其EXIF信息特征构成矩阵y10×5={[y1], [y2], …, [y10]}T;
3) 最后建立相关性,按照2.3中的理论,得到Wj=(XTX)-1XTy(j), j=1, …, 5,其中y(j)为y10×5的第j列元素.
第2步 检测.
1) 对100幅修改过的图像随机分为10组,每组10幅图.下面以一组为例,进行与训练过程1) 中相同的操作,得到的噪声特征构成矩阵
2) 对此组图像进行训练过程2) 的操作,得到EXIF信息特征构成的矩阵为
3) 按照2.4中叙述的方法计算估计误差
在图像篡改者对图像进行复制粘贴等修改之后,为了使修改图与原图像有更一致的视觉效果或达到其他目的,经常会用到照片滤镜或者模糊修饰等操作,图 2给出了2个检测图像集中的例图.
图 2(a)(c)为真实图像,(b)(d)分别为经过照片滤镜和模糊工具修改过的图像,(a)(b)的EXIF信息为:光圈数N=3.5,曝光时间t=1/40,感光速率I=80. (c)(d)的EXIF信息为:光圈数N=3.5,曝光时间t=1/60,感光速率I=80.利用提出的实验算法对以下例图进行检测,得到的误差数据如表 1所示.
在对图像进行照片滤镜或是模糊操作并不改变图像真实EXIF信息的背景下,实验中分别对100幅真实图像和200幅修改图像进行检测,即利用该模型算法估计检测图像的EXIF参数,与真实EXIF参数信息作比较,从所得估计误差数据分析,实验能达到较高的检测精度,统计数据如表 2所示.在表 2中列出了分别利用光圈值、快门速度、感光速率、亮度值、曝光值作为估计指标时对不同情况下的图像的检测率和综合利用以上5个指标时的检测率.包括:真阳率,真实图像样本中,被正确识别的样本比例;假阳率,真实图像样本中,被误识为修改图像的样本比例;真阴率,修改图像样本中,被正确识别的样本比例;假阴率,修改图像样本中,被误识为真实图像的样本比例.综合评判1是在阈值ρ1的情况下,真阴率达到了100%,真阳率也有98%;综合评判2是在阈值ρ2的情况下,真阴率为99%,真阳率达到100%.
建立了图像的统计噪声特征与EXIF信息的相关性,以此来对篡改图像进行检测.此方法对检测图像是否经过了模糊等润饰修改能达到较高的检测率,但是对于图像是用哪种修改手段进行的修改还缺乏理论研究与实验,这也是下面的研究工作.尽管会有很大的挑战性,但是相信随着科学技术的不断进步,图像篡改研究理论的不断完善,这些问题都会得到解决并且还会有更加广阔的实际应用前景.
[1] |
李叶舟, 胡静, 牛少彰, 等. 无限光源模式下基于光照方向不一致的图像篡改盲取证技术[J]. 北京邮电大学学报, 2011, 34(3): 25–30.
Li Yezhou, Hu Jing, Niu Shaozhang, et al. Exposing digital image forgeries by detecting inconsistence in light source direction based on infinite light source model[J]. Journal of Beijing University of Posts and Telecommunications, 2011, 34(3): 25–30. |
[2] |
李叶舟, 吴小媚, 牛少彰, 等. 基于相机标定的文字变造篡改鉴定[J]. 北京邮电大学学报, 2012, 35(6): 16–19.
Li Yezhou, Wu Xiaomei, Niu Shaozhang, et al. Forgeries of Chinese character detecting based on camera calibration[J]. Journal of Beijing University of Posts and telecommunications, 2012, 35(6): 16–19. |
[3] | Popescu A C, Farid H. Exposing Digital Forgeries in color filter array interpolated Images[J]. IEEE Transactions on Signal Processing, 2005, 53(10): 3948–3959. doi: 10.1109/TSP.2005.855406 |
[4] | Fan Jiayuan, Cao Hong, Sattar Farook. Modeling the EXIF-image correlation for image manipulation detection[J]. IEEE International Conference on Image processing, 2011, 18: 1945–1948. |