2. Changzhou Key Laboratory of Sensor Networks and Environmental Sensing, Changzhou 213022, China
由于红外成像设备隐蔽性好[1],具有很强的环境适应性,能很好地反映物体热辐射特征,因此,红外成像设备在生活中应用广泛。但是,在获取红外图像的过程中,容易受环境因素的影响,导致红外图像存在噪声大、对比度低、信噪比低等缺点,为获得清晰的红外图像需要对红外图像进行增强处理。
红外图像的增强主要目的在于去除图像中的噪声、提高图像整体的对比度信息、提高红外图像的质量、丰富图像的信息量。已有的红外图像增强技术主要是基于空间域和基于变换域的处理。基于空间域的方法主要包括直接对图像进行灰度变换、灰度拉伸和直方图均衡化[2]等方法。基于变换域的方法是将图像由时域变换到频域[3],同时在频域里对相关系数进行处理。但是这些方法对于对比度低的红外图像会出现过度增强和图像细节增强不足等问题,在增强的同时也容易产生“振铃”现象。
以NSCT为代表的多分辨率分析方法在增强图像细节的同时能有效地抑制图像的噪声[4],且增强区域及增强目标易于控制。作为一种多尺度分析方法,NSCT变换同样将图像分解为低频子带和高频子带。与小波变换不同的是,它能在任意尺度上实现,任意方向的分解,产生低频系数和各带通方向子带系数。基于NSCT变换的红外图像增强算法是在NSCT变换内分别对低频系数和各带通方向子带系数采用不同的方法进行处理,经逆变换后实现空域图像整体对比度的增强[5]。文中提出一种基于改进的直方图均衡化和NSCT变换的红外图像增强方法。高频部分首先采用自适应局部降噪的方法对NSCT高频部分进行自适应降噪处理,然后利用变换系数自适应的确定阈值和调整增强函数;低频部分采用改进的直方图均衡化方法进行处理。实验结果表明,提出的方法可以有效的提高图像的清晰度和对比度信息,取得很好的增强效果。 1 NSCT变换
NSCT变换是一种图像二维表示方法,具有多分辨率、局部定位、多方向性、近邻界采样和各向异性等性质,其基函数分布于多尺度、多方向上,少量系数即可有效地捕捉图像中的边缘轮廓,而边缘轮廓正是自然图像中的主要特征[6, 7]。
NSCT变换选用拉普拉斯金子塔滤波器结构(Laplacian pyramid,LP)和方向滤波器(directional filter banks,DFB)作为滤波器结构组[8],LP滤波器预测原图像的差值图像,并逐步对图像的分辨率进行分解。方向滤波器(DFB)主要将LP分解的每一个高频分量分解为2n数目的方向子带。在实际使用中分解的方向数随着尺度的变化而发生变化,NSCT变换可以很好地应用在图像增强领域。
图 1为NSCT变换滤波器组结构和频率分解图。
2 高频系数的增强与去噪 2.1 高频系数的自适应降噪高频子带包含图像的边缘信息和大部分噪声,文中利用自适应局部降噪的方法实现高频系数的降噪。在高频系数局部区域内,在该区域中心上的响应应该包含4个量:1) 高频带噪声的系数;2) δl噪声的方差;3) meanc高频子带的局部均值;4)δh不含噪声的高频子带局部方差。有如下假设:
a) 若δl为零,则返回原高频分量。
b) 若不含噪声的高频子带局部方差δh和δl是高度相关的,则返回一个高频子带的一个近似值。
基于上述假设得到高频子带自适应降噪的表达式为
式中,Cj,kh为第j个尺度的第k个子带的高频系数,meanc为该子带内系数的均值,M×N为图像的大小。文中δl取小于阈值T的高频系数的方差,δh为大于阈值T的高频子带的局部方差。 2.2 高频系数的自适应增强
经NSCT分解后,噪声信号的系数幅值要大于噪声的系数幅值,可以认为,幅值较大的系数一般以信号为主,而幅值较小的系数在很大程度上是噪声,因而可以设定一个T,对高频子带进行分割,将大于阈值的系数视为边缘细节信号,并进行增强处理,将小于阈值的系数视为噪声,并进行衰减处理这样,就可以达到对红外图像边缘细节信息进行增强,提高清晰度,同时降低噪声的作用。利用式(3)进行相应的系数调整:
式中,分别为调整前后高频子带第j个尺度的第k个的系数,Ck_maxh为该系数分量的最大值,b、c为增强系数,通过非线性函数得到[9]。 3 低频系数的增强经NSCT变换产生的低通子带,包含了大量的图像基本信息,它就像原图像的缩略图,低通子带中基本滤除了图像的噪声,基本不包含噪声信息,它对原始图像的最大影响是影响对比度,为了有效提高原始图像的对比度,需要对低通子带系数进行拉升,扩大图像的整体对比度,可以有效地增加图像的对比度,文中选用改进的直方图均衡化算法实现对低频系数的对比度增强处理。
文献[10]利用传统综合评价中的几何加权平均法,并考虑人的视觉感知主观偏好特性,提出了一种改进的直方图均衡化最优化模型。获得了一类新的最优化直方图均衡化模型。该算法模型并没有增加算法的复杂度,而且可有效调节图像增强的强度。灰度映射表达式如下:
式中:L为图像灰度级总数,pj为不同灰度级出现的概率,λ为加权系数,wj为主观偏好权系数,round为取整符号。 式中:Clj,k为低频子带第j个尺度的第k个的系数,M,N为图像I的长和宽,若,则
式(7)反映了主观与客观信息相融合的灰度级映射关系式,实现直方图均衡化增强的目的加权系数、和主观偏好权系数λ的选取,同时主观偏好权系数λ的选取对增强效果至关重要。根据文献[10]的实验结果,加权系数取值最优范围为1~5,同时主观偏好权系数wj所对应的方差不宜过大。文中采用式(7)对得到的低频子带进行动态优化。 4 实验结果
为验证文中算法的有效性,对红外图像进行增强实验。图 2给出了文中算法和其他方法的对比结果图。
图 2 (a1)(a2)为实际获取的夜间红外图像,夜间红外图像对比度低,整体偏暗且噪声严重,图 2 (a1)图像偏暗,图像的边缘和纹理比较模糊,图 2 (a2)图像中建筑物和“源”字棱角不突出。图 2 (b1)(b2)为原始图像经直方图均衡化后的效果图,处理后的图像亮度大大增强,但是有些噪声分量也被增强,出现了局部过增强的现象。图 2 (c1)、(c2)是经文献[1]增强后的效果图,可以看出图像亮度和对比度有一定提升,纹理边缘信息得到一定突出,但是提升的效果并不显著,如图 2 (c2)中的“源”字,并没有很明显的突出其边缘;图 2 (d1)、(d2)是文中算法处理后的效果图,可以看出经文中算法增强后的图像不仅亮度和对比度高,而且有效突出边缘和轮廓信息,获得很好的视觉效果,有效抑制图像的噪声。
文中选用平均梯度和熵作为客观评价标准。平均梯度是用相邻点的差分计算的梯度值,其值越大,图像细节越多,清晰度越高;标准差反应图像像素值的分布范围,标准差越大,图像对比度越高;熵可以一定程度的衡量一副图像所包含的信息量,其值越大说明图像的所包含的信息量较高,图像清晰度越高,质量越好[11]。从表 1 中可以看出:文中算法增强后的图像熵值和平均梯度明显高于文献[1]中的方法,略小于直方图均衡化方法,但是直方图均衡化后的图像出现过增强情况,文中算法增强后的图像细节丰富,且没有出现过增强的情况。说明提出的算法在提高图像的对比度的同时,对图像信息的恢复起到了良好的作用。
图序 | 平均梯度 | 熵 |
图 2(a1) | 11.268 9 | 6.256 8 |
图 2(b1) | 44.431 5 | 7.518 0 |
图 2(c1) | 22.038 6 | 6.801 1 |
图 2(d1) | 23.333 7 | 7.334 9 |
图 2(a2) | 4.643 5 | 6.174 3 |
图 2(b2) | 15.225 9 | 7.957 8 |
图 2(c2) | 8.142 5 | 6.800 2 |
图 2(d2) | 15.455 0 | 7.566 5 |
传统直方图均衡化方法没有考虑噪声的影响,在增强对比度的同时也增强了图像的噪声,没有有效提高图像的信息量。文中首先对红外图像的高频系数自适应降噪,然后对高频系数自适应拉伸;对低频系数利用改进的直方图均衡化方法增强低频系数,实验证明文中算法可以有效提高红外图像的局部亮度、对比度,增强图像暗区细节,取得了很好的视觉效果。
[1] | 石丹, 李庆武, 倪雪, 等. 基于Contourlet变换的红外图像非线性增强算法[J].光学学报, 2009, 29(2):342-346. |
[2] | 吴一全, 史骏鹏. 基于多尺度Retinex的非下采样Contourlet域图像增强[J].光学学报, 2015, 35(3):0310002. |
[3] | DEMIREL H, ANBARJAFARI G. Image resolution enhancement by using discrete and stationary wavelet decomposition[J]. IEEE transactions on image processing, 2011, 20(5):1458-1460. |
[4] | 梁栋, 殷兵, 于梅, 等. 基于非抽样Contourlet变换的自适应阈值图像增强算法[J].电子学报, 2008, 36(3):527-530. |
[5] | DA CUNHA A L, ZHOU Jianping, DO M N. The nonsubsampled contourlet transform:theory, design, and applications[J]. IEEE transactions on image processing, 2006, 15(10):3089-3101. |
[6] | 彭洲, 赵保军. 基于Contourlet变换和模糊理论的红外图像增强算法[J].激光与红外, 2011, 41(6):635-640. |
[7] | 向静波, 苏秀琴, 陆陶. 基于Contourlet变换和形态学的图像增强方法[J].光子学报, 2009, 38(1):224-227. |
[8] | KHAN M A U, KHAN M K, KHAN M A. Coronary angiogram image enhancement using decimation-free directional filter banks[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Proceeding (ICASSP). Montreal, Canada:IEEE, 2004:441-444. |
[9] | 梁栋, 殷兵, 于梅, 等. 基于非抽样Contourlet变换的自适应阈值图像增强算法[J].电子学报, 2008, 36(3):527-530. |
[10] | 吴成茂. 直方图均衡化的数学模型研究[J].电子学报, 2013, 41(3):598-602. |
[11] | 刘海波, 汤群芳, 杨杰. 改进直方图均衡和Retinex算法在灰度图像增强中的应用[J].量子电子学报, 2014, 31(5):525-532. |