遥感卫星所搭载的传感器的成像水平是评价传感器性能的一项重要指标。遥感传感器由于受各种因素的影响,所获取的遥感影像存在不同程度的失真,对后续的处理和应用有很大影响。对遥感传感器获取的遥感影像进行质量评价,一方面可以测定传感器的成像性能,另一方面对遥感传感器设计工作的改进具有借鉴意义[1]。
遥感图像质量评价可以分为两种:主观质量评价和客观质量评价。主观质量评价是人为进行评价,这种方法充分考虑了人眼的视觉感受,可反映图像的直观质量,缺点是人力和时间消耗较大,评价结果受观测者的知识背景、经验、测试环境等因素影响。客观质量评价是根据事先确定的标准算法对反映图像质量的参数进行计算,最终得出图像的质量评分。客观评价方法由于最终质量评分由给定的数学模型来确定,因而可以多次重复操作,并且比主观评价方法更加灵敏,同时也易于与计算机技术结合应用到工程实践中。但是,客观评价结果必须与主观评价结果高度一致,才能称为好的客观评价方法[2]。
客观评价方法一般又分为全参考、半参考和无参考(no-reference)3种。图像质量客观评价指标有很多种,最常用的是均方误差(MSE)和峰值信噪比(PSNR)。文献[2]提出了结构相似度(structural similarity,SSIM)这一全参考图像质量评价方法,认为人眼能够高度自适应地提取场景中的结构信息。文献[3]在此基础上提出了梯度结构相似度(GSSIM)的方法。轮廓波(Contourlet)变换可以对图像进行多尺度、多通道、多方向分解,更符合人眼的视觉特性。实际应用过程中,在参考遥感影像无法获得的情况下,质评工作无法开展。因此本文提出了一种基于Contourlet-GSSIM的无参考遥感图像质量评价方法,与MSE、PSNR方法相比,本文所提出的方法评价结果更好。 二、GeoEye遥感图像主观评价库的建立
本文试验所用的数据为一景空间分辨率为0.5 m的Geo级别的GeoEye-1全色影像,使用ERDAS IMAGINE 2010裁剪出30个特征场景,大小为512像素×512像素,格式为TIF,在Intel(R) Core(TM) i5-2415M CPU @ 2.3 GHz、8 GB内存、64位Windows8.1操作系统中,利用Matlab仿真软件生成两类失真图像,对30个参考图像分别加入5个不同大小的高斯噪声和椒盐噪声,分别生成30×5=150幅图像。高斯噪声均值为0,方差为0~4;椒盐噪声的叠加密度(d)为0~1。高斯噪声图像和椒盐噪声图像如图 1所示。
根据主观质量评价标准,组织了20位遥感专家采用差分平均意见分数(difference mean option score,DMOS)评分法对图像质量进行评价,待评价图像包括150幅高斯噪声图像和150幅椒盐噪声图像。DMOS的计算公式如下
计算每幅图像的DMOS值并将其归一化,结合其标准差和主观观测值,从而建立GeoEye遥感影像主观评分库。DMOS的取值为0~100,值越大,表明图像质量越差;值越小,表明图像失真越小,质量越好[4]。三、基于Contourlet-GSSIM的无参考遥感图像质量评价模型 1. Contourlet变换
Do和Vetterli于2002 年提出了一种真正的图像二维表示方法——Contourlet变换,也叫做塔型方向滤波器组(pyramidal directional filter bank,PDFB)。Contourlet 变换是一种多分辨率多方向的图像二维表示方法,因为其最终结果是用类似于线段的基结构来逼近图像,因此称这种变换为Contourlet变换。Contourlet变换分两步实现:第一步,通过LP(Laplacian pyramid)变换对图像进行多尺度分解;第二步,对分解得到的每个高频子带采用方向滤波器组(DFB)进行多方向分解,将图像的各阶高频信息细分为2n个方向,实现对不同频率、不同方向信息的提取,各个方向子带表示图像不同尺度不同方向的轮廓子图[5]。 2. 梯度结构相似度
GSSIM包括亮度(l)、对比度(c)和梯度相似度(g)3个要素,设X、Y分别表示参考图像和待评图像,x、 y分别为两幅图像的对应图像块,l、c、g分别定义为
式中,μx和μy分别为图像块的均值;σx和σy分别为x、y图像块的标准差;σxy为x、y图像块的协方差;C1=(K1L)2,C2=(K2L)2,C3=C2/2,K1 << 1,K2 << 1,C1、C2、C3是为了避免分母为零而设的小常数;L是图像的动态范围,对于8位灰度图像,L取28=256。式(4)中的梯度G一般用差分来近似计算,本文用像素(i,j)处的4邻域差分绝对值之和表示其梯度值
特别的,第1行和第1列像素的梯度值用第2行和第2列代替,最后一行和最后一列的梯度值用前一行和前一列的梯度值代替。则图像块x、y的梯度结构相似度为 式中,α、β、γ均大于0,以调整3个部分所占的权重。当对图像进行质量评价时,把一幅图像分为M个重叠或不重叠的子块,对每个子块由式(6)计算其GSSIM。对所有子块都计算完毕后,整幅图像的评分可由下式得到
3. 评价步骤1) 为待评图像X构造参考图像Y。实际质评工作中往往缺少参考遥感影像信息,这就需要直接对失真遥感图像进行质量评价,因此,需要采用无参考图像质量评价方法。构造参考图像可以通过改变图像中的高频成分来实现。试验中采用高斯低通滤波器。噪声属于高频信息,因此高斯低通滤波可以用于去噪,但是去噪的同时也会模糊图像[6]。
2) 对X、Y进行Contourlet分解,得到图像不同频带和不同方向的变换系数。
3) 用式(6)计算第i个频带第 j个方向子带的GSSIMij。
4) 用下式计算第i个频带的梯度结构相似度GSSIMi(X,Y)
式中,Mi为第i个频率尺度上Contourlet分解的方向子带数目;wij表示第i个尺度第j个方向子带的权值,取值为该子带Contourlet系数的绝对值均值。该取值方法是依据大系数表示重要轮廓、人眼对其更加敏感这一事实而提出的[7]。5) 用下式对所有频带的GSSIMi(X,Y)求加权和,得到整幅图像的Contourlet域梯度结构相似度
式中,N为图像Contourlet分解的频率子带数;wi为第i个频率子带的权值。本文使用经典的CSF模型[8]计算wi,wi为相应频带内CSF曲线的平均值。 四、试验结果及分析 1. 试验细节试验中采用高斯低通滤波器来构造参考图像,参数设置为11×11,σ=2。Contourlet变换中LP分解和DFB分解分别采用Daubechies(9,7)小波基和“pkva”小波基。在进行Contourlet变换时,先进行3级拉普拉斯变换将图像分解为4个频率尺度(N=4),然后对各频率子带由粗到细采用4方向、8方向、16方向进行DFB分解,最低频子带不作方向分解。根据CSF曲线,试验中各频率子带权值分别取为:w1=0.692 1、w2=0.892 5、w3=0.423 3、w4=0.051 9。 2. 试验结果
本文选择一幅场景图和5幅高斯噪声图像计算图像的失真评价结果,评价结果见表 1。
方法 | 高斯噪声方差 | ||||
0.003 9 | 0.013 7 | 0.097 7 | 0.178 0 | 2.250 0 | |
DMOS | 31.570 7 | 40.562 8 | 52.573 9 | 55.287 0 | 72.493 0 |
PSNR | 24.403 8 | 19.512 7 | 12.351 0 | 10.310 7 | 5.754 9 |
RMSE | 15.358 6 | 26.971 6 | 61.516 5 | 77.804 5 | 131.460 4 |
C-GSSIM | 0.942 4 | 0.860 5 | 0.653 0 | 0.531 2 | 0.217 0 |
本文提出的基于Contourlet-GSSIM的无参考图像质量评价方法,评分值越高,表示图像的质量越好;RMSE(root mean square error)衡量的是图像间的差别,其值越小,表示噪声图像与参考图像间的差异越小,图像质量越好;峰值信噪比(PSNR)表示图像中信息和噪声的比例,其值越大,图像质量越好。
从表 1可以看出,随着高斯噪声方差的增大,C-GSSIM评分值减小,表明图像质量逐渐下降。本文方法与PSNR、RMSE的客观评价结果一致,都可以有效地对GeoEye遥感影像的质量进行评价,但是3种算法的性能相互之间无法进行比较。 3. 算法性能比较
为了进一步比较本文算法与RMSE、PSNR图像质量评价算法的性能,需要对算法性能进行定量化的描述。根据VQEG(video quality experts group)的报告,采用Logistic函数将各评价算法结果非线性回归到DMOS空间[9],Logistic函数如下
式中,x表示质量评价算法的评分值[10]。然后用以下3个指标衡量各质量评价算法的性能:①相关系数CC(correlation coefficient),越接近1越好;②均方根误差RMSE,值越小越好;③斯皮尔曼等级相关系数SROCC(spearman rank oder correlation coefficient),值越大越好,用来测定客观评价算法结果相对于主观评价结果的单调性。表 2给出了各图像质量评价算法与DMOS的CC、RMSE、SROCC值计算结果。从表 2可以看出,与未考虑人眼视觉特性的MSE和PSNR算法相比,本文提出的质量评价算法与主观评分的相关程度和准确度都有明显提高,具有更好的性能。
方法 | CC | RMSE | SROCC |
MSE | 0.810 4 | 9.478 3 | 0.745 0 |
PSNR | 0.833 2 | 7.813 8 | 0.845 0 |
Contourlet-GSSIM | 0.927 3 | 6.054 0 | 0.933 7 |
本文提出了一种基于Contourlet-GSSIM的无参考遥感图像质量评价方法,建立了GeoEye遥感影像主观评分库,通过构造得到参考图像后,对图像进行Contourlet分解并将得到的分解系数应用于加权的梯度结构相似度,从而实现了对遥感图像进行质量评价。通过与PSNR、RMS进行性能比较,表明本文提出的算法能够可靠、有效地评价GeoEye遥感影像的图像质量,该方法充分考虑了人眼视觉特性,并且无须参考遥感图像信息。下一步还需要考虑算法对具有更多失真类型的遥感影像的通用性,以及对不同卫星遥感数据的适用性。
[1] | 顾营迎. 航天光学遥感器图像终端像质评价方法研究[D]. 长春:中国科学院长春光学精密机械与物理研究所, 2013. |
[2] | WANG Z,BOVIK A C,SHEIKH H R, et al.Image Quality Assessment: From Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612. |
[3] | 庄晓丽,陈卫红.基于梯度幅度值的结构相似度的图像质量评价方法[J].计算机应用与软件,2009,26(10):222-224. |
[4] | 闫利, 胡晓斌. 利用 Contourlet—SSIM 视觉模型的 IKONOS 图像质量评价研究[J]. 武汉大学学报: 信息科学版, 2014, 39(1): 12-16. |
[5] | 王锋, 孟凡坤, 万方杰, 等. 基于 Contourlet 域梯度结构相似度的无参考图像质量评价[J]. 信息工程大学学报, 2014, 15(1): 80-84. |
[6] | 桑庆兵, 梁狄林, 吴小俊, 等. 基于支持向量回归的无参考模糊和噪声图像质量评价方法[J]. 光电子·激光, 2014, 25(3): 595-601. |
[7] | 杨春玲, 汪凡. 基于结构相似度的CT域图像质量评价方法[J]. 计算机工程, 2010, 36(14): 190-192. |
[8] | MANNOS J, SAKRISON D J. The Effects of a Visual Fidelity Criterion on the Encoding of Images[J]. IEEE Transactions on Information Theory, 1974, 20(4): 525-536. |
[9] | SHEIKH H R, BOVIK A C, DE VECIANA G. An Information Fidelity Criterion for Image Quality Assessment Using Natural Scene Statistics[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2117-2128. |
[10] | ROHALY A M, CORRIVEAU P J, LIBERT J M, et al. Video Quality Experts Group: Current Results and Future Directions[C]//Proc. SPIE 4067, Visual Communications and Image Processing 2000. Perth, Australia:SPIE, 2000: 742-753. |