2. Shanghai Research Institute of Mechanical and Electrical Engineering, Shanghai 200000, China;
3. College of Automation, Harbin Engineering University, Harbin 150001, China
近年来,PM2.5这一气象专业词汇成为社会关注的焦点之一。空气中的液滴和固体小颗粒不仅危害人体健康,而且由于大量悬浮粒子的散射作用,大气能见度降低,户外图像颜色和对比度退化,影响提取图像中的信息,同时户外清晰度降低也导致交通事故频发,因此,图像去雾技术成为图像处理与计算机视觉领域研究的重要课题之一。
图像去雾技术主要有基于图像复原和基于图像增强两类。基于图像增强的算法有直方图变换、频域分析和Retinex算法等方法。从图像退化的物理模型出发,通过分析求解其降质过程的逆过程,从而复原图像的算法称为基于图像复原的算法。
目前,通用的图像去雾算法是先估算大气透射率,再根据单色大气散射模型[1-2](monochrome atmospheric scattering model, MASM)恢复场景色彩。文献[3-4]利用不同偏振程度的多幅图像作为参照数据去雾,文献[5-6]利用不同天气条件下对同一场景的多幅图像作为参照去雾,然而,在实际应用中,通常都无法满足这样的特殊条件。进而,基于单幅图像的去雾算法应运而生。
Tan[7]假设局部区域的环境光为常数,以及对比度显著增强,在马尔可夫随机场(markov random field, MRF)模型的框架下,构造关于边缘强度的代价函数,使用图分割理论估计最优光照,但由此导致的图像颜色过度饱和失真无法避免,且在景深突变的交界区域产生严重的Halo效应。
Fattal[8]假设图像局部区域的透射率为常向量,以及物体表面色度(surface shading)与介质传播(medium transmission)具有统计不相关性,此算法需要大量的物理色彩信息,但是,在浓雾条件下的图像丢失了大量色彩信息,此时对图像的透射率估计偏差大,算法失效。
He等[9]提出了一种暗原色先验(dark channel prior)的算法。假设至少一个颜色通道的局部区域内的场景反照率趋于零,接着用最小值滤波对介质传播函数粗估计,然后,用软抠图算法对该函数细化,由此得到去雾图。但此细化算法实质上是一种大规模稀疏线性方程组的求解问题,具有很高的时间和空间复杂度;另外,图像抠图引入α通道使前景与背景过渡区域的边缘柔化,而介质传播函数为场景辐射的指数衰减因子,因此,软抠图算法用于介质传播函数的细化并不合理;同时,单一的最小值滤波会产生Halo效应和块效应。
继而,又有分别采用双边滤波[10]和中值滤波来代替最小值滤波的算法,以提升去雾性能。文献[11-12]用双边滤波代替图像抠图,稍许降低了算法的时间复杂度,但是透射率图的精度降低,实用价值不高。Gibson[13]等提出用中值滤波代替最小值滤波,可以减弱Halo效应,该算法不需要软抠图或双边滤波对透射率图细化,显著降低了运算的时间复杂度,但是该方法去雾图像质量较差,易出现黑斑效应。文献[14]提出了双区域滤波,定义了暗区域,改进了中值滤波算法,减弱了其黑斑效应,但是该算法对图像细节的保持作用有限,图像细节精细度降低。
上述文献皆取大气光(skylight)为常数,在有景深变化的图像中,这一假设显然是不合理的;另外基于暗原色先验的算法都存在去雾图像灰暗,存在Halo效应,或者为消除Halo效应而采取复杂的运算,增加了算法的时间复杂度。故此,文中提出了一种基于暗原色先验去雾物理模型的改进算法,对大气光做了更合理的处理,减弱图像块效应,提高了图像的整体亮度,使图像更加自然;改进最小值滤波以减弱Halo效应和黑斑效应;最后采用导向滤波[15-16]以得到精细的透射率图,大大降低了时间的复杂度。
1 背景 1.1 大气散射模型在雾、霾天气条件下的单色大气散射模型,即窄波段摄像机所拍摄的图像灰度值I(x)可表示为
(1) |
式中:x为空间坐标;I为已知图像;J为无雾时景物光线的强度, A为天空亮度;t为介质透射率。大气散射模型由2项组成。第1项表示衰减模型,也称为直接传播或直接衰减。由于大气粒子的散射作用, 一部分物体表面的反射光因散射而损失, 未被散射的部分直接到达成像传感器, 其光强随着传播距离的增大而呈指数衰减。第2项表示环境光模型。这是因为大气粒子对自然光的散射引起大气表现出光源的特性。环境光的强度随着传播距离的增大而逐渐增加。Narasimhan等指出该模型的假设条件是单次散射、均匀大气介质以及大气粒子对可见光的散射系数与波长无关,因此, 该模型不适用于数千米之外场景成像的衰减补偿。
为简化式(1),定义t为
(2) |
式中:d重为场景的景深;β为大气散射系数。
1.2 暗原色先验He根据对大量户外无雾图像的统计,提出了暗原色先验。在图像的某些非天空的区域R、G、B三原色通道中,至少有一个通道强度值很低,可表示为
(3) |
式中:Jc(x)为J(x)的R、G、B三原色通道;Ω(x)是以像素点x为中心的方形区域。式(3)即为暗原色先验公式。
对于非天空区域,有式(4)成立:
(4) |
不妨先假设A已知,由式(1)得:
(5) |
对式(5)进行最小值运算:
(6) |
式中
又由式(4)得:
(7) |
为使去雾的图像更真实,定义式(7)为
(8) |
取ω=0.95。
将式(8)代入式(1),为保证分母不为零,设定最小值t0=0.1,得:
此先验得到的去雾图像有明显的Halo效应,故文中提出如下改进算法。
2 文中算法文中算法可分为3个步骤:1)粗估计透射率;2)利用导向滤波,获得精细的透射率图像;3)估计天空亮度,最终得到去雾图像。
2.1 粗估计透射率Gibson等用中值滤波对暗原色先验函数修订如下:
式中Idarkm(x)称为暗原色中值,该方法获得的透射率图见图 1(c)中值滤波的透射图。
文献[15]提出了暗区域,对中值函数作了如下的定义:
(9) |
式(9)表示当像素点位于暗区域时,暗原色中值直接取该像素点三原色通道的最小值;否则,取领域三原色通道的最小值的中值。该方法获得的透射率图见图 1(d);He的透射率图如图 1(e)。
从图中可以得出如下结论:He的最小值滤波结果对细节保持效果最佳,但运算量最大,存在Halo效应和块效应;Gibson的中值滤波对细节损坏最严重,且伴有黑斑效应,但时间复杂度最低,没有明显的Halo效应,也不失为一种好的快速去雾算法;文献[14]整体效果居中。经过大量图像分析,都有相似的结论。
综合考虑最小值滤波和中值滤波的作用效果。文中结合顺序统计滤波,修正了暗区域。在暗区域采取顺序统计滤波,可以消弱Halo效应,增强图像的对比度;在非暗区域,采用最小值滤波,可以更好地保留图像的边缘。该算法函数定义如下:
(10) |
(11) |
式(10)、(11)表示当像素点位于暗区域时,对该像素点采用最小值滤波;否则,采用顺序统计滤波,结果取领域三原色通道的最小值的中值和最小值之间的值;其中w∈[0.8, 1),可以得到较满意的结果,文中取为0.95。
2.2 利用导向滤波优化透射率图仅基于改进的最小值滤波获得透射率图像仍然存在些许Halo效应,故需要对粗糙的透射率图像进行优化处理。由于透射率仅是关于景深d(x)的函数, 对透射率的粗估计进行区域平滑操作, 保持景深突变的边缘细节, 这可以看作一个滤波问题。软抠图具有很高的时间和空间复杂度, 双边滤波优化效果并不理想。综合考虑,文中采用导向滤波,导向滤波可以根据引导图像的特性有选择地对图像优化,因此可以有效保持图像边缘,而且耗时少。
式中:q为滤波后的图像;I为向导即已知图像;p为输入图像;Ω是以像素点k为中心的方形区域;w为该区域的像素数目;μ和σ2表示I在该区域的均值和方差;ε为一个限制ak的系数;
经过滤波后的透射率图见图 1(f)。通过比较可以看出文中的透射率图,不仅细节保持度更好,而且抑制了Halo效应,并且没有中值滤波造成的黑斑效应,获得了更好的视觉效果。
2.3 估计天空亮度直接用最亮像素值估计天空亮度易受到高亮噪声或白色物体的影响。He先分别对各颜色分量进行灰度腐蚀操作, 再取颜色分量之间的最小值, 从中选取0.1%最亮的像素, 用对应原图像中的最大像素值估计天空亮度A。为了滤除图像中白色物体对估计天空亮度的影响, 结构元素的尺寸应大于图像中白色物体的尺寸。但是, 若图像中的天空区域也小于结构元素的尺寸, 则将错误地滤除天空区域。另外,在一幅具有景深变化的图像,取A为一个常值显然是不合理的,可能会使图像显得灰暗,或者增强块效应。对灰暗的图像进行增强处理,不可避免地存在或多或少的颜色失真。文献[14]的柔性去雾克服了灰暗现象,但增加了图像的噪声,降低了图像的真实度;文献[16]在不同区域内分别选用不同A值,造成了明显的块效应。针对有大片雪域的雾霾图像,上述算法皆没有实际意义,因此,本中提出如下方案。
通过候选天空区域可以有效地估计天空亮度,其有如下特性:1)亮度较高;2)位置偏上;3)色彩相近。
文中从实效性考虑,采用了聚类算法;同时考虑到LAB颜色空间色域更宽,能更有效地进行图像分割,故此聚类算法是基于LAB空间进行的。聚类算法是一种无监督的统计算法,不需要训练样本,因此具有很高的实效性。首先,把已知图像I(x)从RGB空间转换到LAB空间;然后采用k均值算法获得候选天空区域,见图 1(b),记为It(x)。对候选天空区域进行最小值滤波,即灰度腐蚀操作:
取候选天空区域的最大值为亮度最大值:
为防止对天空区域的误估计,取0.7×Amax为天空亮度最小值的底限:
经过对大量图像数据分析,图像的亮度与
(20) |
式中:当
对于没有天空区域且没有大的景深变化的图像,取A为定值可以获得更自然的复原结果,此处取0.95Amax。
3 实验比较与分析文中以哈尔滨工程大学校园景色的雾霾图像为主,结合部分经典图像,与图像复原算法中最好的He算法[17]和图像增强算法中效果最好的MSRCR[18-19]结果进行比较。
图 2为去雾图像,He的算法时间复杂度高,图像灰暗,在雪域和天空区域有些许颜色失真,在景深突变区域存在些许Halo效应;MSRCR的结果有过增强现象,存在颜色失真,对图像细节保持度有限,且耗时也较多,但是显著提高了图像的对比度和视见度;文中算法结果色彩更为鲜艳,细节保持度更好,与场景的真实颜色更接近。对于有大片天空区域和雪景的图像,从图中可以看到:MSRCR存在严重的颜色失真;He的结果存在明显的黑斑效应和Halo效应,且雪域和天空区域存在些许颜色失真。相比而言,文中算法结果不但细节保持度高,而且抑制了暗原色先验的灰暗的缺点,且不存在明显的黑斑效应和Halo效应。
从算法时间复杂度的角度考虑,MSRCR多次利用高斯滤波耗时较多,He算法采用软抠图更是极大地增大了算法的时间复杂度,相比之下,文中算法是最优的。
4 结束语文中提出了一种基于暗原色先验原理的大气耗散函数的估计方案。从实验结果可见,新算法对浓雾深处场景的视见度有较明显的优势,没有明显的Halo效应、黑斑效应和块效应,图像的细节保持度非常好。文中算法处理大片雪域和天空区域相似度高的雾霾图像依然存在些许失真现象,攻克这一难关是我们的努力方向。
[1] | NARASIMHAN S G, NAYAR S K. Removing weather effects from monochrome images[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai, USA:IEEE, 2001:186-193. http://www.oalib.com/references/16896783 |
[2] | NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on pattern analysis and machine intelligence , 2003, 25 (6) : 713-724 DOI:10.1109/TPAMI.2003.1201821 |
[3] | SCHECHNER Y Y, NARASIMHAN S G, NAYAR S K. Instant dehazing of images using polarization[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai, USA:IEEE, 2001:325-332. |
[4] | SHWARTZ S, NAMER E, SCHECHNER Y Y. Blind haze separation[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, USA:IEEE, 2006:1984-1991. |
[5] | NARASIMHAN S G, NAYAR S K. Chromatic framework for vision in bad weather[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island, USA:IEEE, 2000:598-605. http://www.oalib.com/references/16877947 |
[6] | NAYAR S K, NARASIMHAN S G. Vision in bad weather[C]//Proceedings of the 7th IEEE International Conference on Computer Vision. Kerkyra, Greece:IEEE, 1999:820-827. http://www.oalib.com/references/16877938 |
[7] | TAN R T. Visibility in bad weather from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA:IEEE, 2008. http://www.oalib.com/references/16896789 |
[8] | FATTAL R. Single image dehazing[J]. ACM transactions on graphics , 2008, 27 (3) : 72 |
[9] | HE Kaiming, SUN Jian, TANG Xiaoou. Single image haze removal using dark channel prior[C]//Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA:IEEE, 2009:1956-1963. http://www.wenkuxiazai.com/doc/ed13e71ffe4733687e21aa59.html |
[10] | TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]//Proceedings of the 6th International Conference on Computer Vision. Bombay, India:IEEE, 1998:839-846. http://www.oalib.com/references/16877588 |
[11] | XU Haoran, GUO Jianming, LIU Qing, et al. Fast image dehazing using improved dark channel prior[C]//Proceedings of the IEEE International Conference on Information Science and Technology. Wuhan, China:IEEE, 2012:663-667. |
[12] | 禹晶, 李大鹏, 廖庆敏. 基于物理模型的快速单幅图像去雾方法[J]. 自动化学报 , 2011, 37 (2) : 143-149 |
[13] | GIBSON K B, VO D T, NGUYEN T Q. An investigation of dehazing effects on image and video coding[J]. IEEE transactions on image processing , 2012, 21 (2) : 662-673 DOI:10.1109/TIP.2011.2166968 |
[14] | 张小刚, 唐美玲, 陈华, 等. 一种结合双区域滤波和图像融合的单幅图像去雾算法[J]. 自动化学报 , 2014, 40 (8) : 1733-1739 |
[15] | HE Kaiming, SUN Jian, TANG Xiaoou. Guided image filtering[J]. IEEE Transactions on pattern analysis and machine intelligence , 2013, 35 (6) : 1397-1409 DOI:10.1109/TPAMI.2012.213 |
[16] | KIM J H, SIM J Y, KIM C S. Single image dehazing based on contrast enhancement[C]//Proceedings of 2011 IEEE International Conference on Acoustics, Speech and Signal Processing. Prague, Czech Republic:IEEE, 2011:1273-1276. |
[17] | 吴迪, 朱青松. 图像去雾的最新研究进展[J]. 自动化学报 , 2015, 41 (2) : 221-239 |
[18] | JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE transactions on image processing , 1997, 6 (7) : 965-976 DOI:10.1109/83.597272 |
[19] | RAHMAN Z, JOBSON D J, WOODELL G A. Retinex processing for automatic image enhancement[J]. Journal of electronic imaging , 2004, 13 (1) : 100-110 DOI:10.1117/1.1636183 |