2. 中国科学院大学, 北京 100049
为了在雾霾天气下实现静态实时图像去雾,研究了大气衰减模型,分析了大气溶胶对成像的影响和大气散的射校正方法,提出了偏振去雾方法的技术原理.利用斯托克斯参数和穆勒矩阵实现原始数据的静态获取,基于偏振测量结果实现天空区域的实时提取,通过提取结果定性和定量分析,找到了偏振角范围和大气散射光强度阈值的规律性,实现了静态实时偏振去雾.静态实时偏振去雾方法将原始数据由不确定的偏振图像改变为固定的偏振图像,克服了对手动操作和主观评价的依赖,简化了去雾流程,解决了复杂的全局参数估计问题,提高了图像复原的准确度.所提出的静态实时偏振去雾方法为雾霾天气下高分辨、高稳定性和高实时性成像提供了新的理论和技术手段.
2. University of Chinese Academy of Sciences, Beijing 100049, China
In order to realize real-time static image recovery under hazy weather, a new theory of polarimetric dehazing was presented based on study of the atmospheric scattering model, analyzation on the effects of aerosols and the method of atmospheric scattering correction. The polarimetric information is obtained statically from the original images by Stokes equation and the Muller matrix. The sky region is extracted in real time based on the polarimetric measurement of the hole image. The influence of the range of polarization orientation angle and the threshold of air light intensity are analyzed based on the extraction result. The real time static polarimetric image dehazing method can be realized with fixed linear polarimetric images. No manual operation or subjective evaluation is needed which greatly simplifies the dehazing process. The accuracy of image recovery is increased by solving the problem of the estimation of the global parameters. The real time static polarimetric dehazing method provides a new theoretical and technical way for high-resolution, high stability and real-time image recovery under hazy weather.
目前雾霾问题十分严重[1],普通可见光成像难以获得清晰图像.去雾成像方法分为2大类:图像增强方法[2-3]和图像复原方法,如偏振成像[4-5].偏振去雾是基于大气衰减物理模型的图像复原,可恢复细节信息. Schechner等[6]提出图像偏振去雾,但该方法无法满足静态实时去雾需求.
针对上述问题,在研究偏振去雾方法[5, 7]和硬件实现的基础上[8],提出静态实时偏振去雾成像技术,通过斯托克斯参数和穆勒矩阵,利用固定方向的线偏振图像进行复原.分析了全局参数的获取方法,讨论了场景天空区域的提取技术,给出了校正因子的修正结果,外场试验结果表明,该方法具有广泛的适用性,为实时图像去雾提供了新的理论和技术手段.
1 偏振去雾技术原理在雾霾天气下,成像系统接收到的总光强I由景物透射光D和大气散射光A两部分组成. A随着目标距离的增加而增大,
$ A = {A_\infty }\left\{ {1 - {\rm{exp}}\left[ { - \int_0^z {\beta \left( {z\prime } \right)dz\prime } } \right]} \right\} $ | (1) |
其中:A∞为无穷远处目标的大气散射光强度,β(z′) 为大气衰减系数,z为目标距离.景物透射光强度D随着距离的增加而减小,
$ D = L{\rm{exp}}\left[ { - \int_0^z {\beta \left( {z\prime } \right)dz\prime } } \right] $ | (2) |
其中L为目标辐射光.大气散射光的偏振度为p=(A⊥-A‖)/A=(I⊥-I‖)/A,将光源到目标这条直线和目标到成像系统这条直线组成的平面定义为入射面,偏振片方向平行于入射面(α=θ‖) 时大气散射光A‖最小,接收到的总光强处于最佳状态;偏振片方向垂直于入射面(α=θ⊥) 时大气散射光A⊥最大,接收到的总光强处于最差状态.目标辐射光L为
$ L=\frac{{{I}^{\bot }}+{{I}^{\|}}-({{I}^{\bot }}-{{I}^{\|}})/p}{1-({{I}^{\bot }}-{{I}^{\|}})/p{{A}_{\infty }}} $ | (3) |
I⊥和I‖需要依靠人眼观测,容易受到主观因素影响.针对上述问题,利用斯托克斯参数(S0、S1、S2) 和穆勒矩阵进行改进.在确定0°参考方向后,通过穆勒矩阵可得任意偏振方向α的光强为
$ I\left( \alpha \right)=\frac{1}{2}({{S}_{0}}+{{S}_{1}}\text{cos}~2\alpha +{{S}_{2}}\text{sin}~2\alpha ) $ | (4) |
可基于任意3个偏振方向(如0°、60°和120°) 的图像求解斯托克斯参数,也可通过获取0°、45°、90°和135°线偏振图像,利用斯托克斯参数的定义式求解S0、S1和S2.为便于硬件实现,笔者通过获取0°、45°和90°线偏振图像,利用式(4) 和S2=2I(45)-S0求解斯托克斯参数,解得垂直和平行于入射面的偏振角θ⊥=arctan (S2/S1)、θ‖=θ⊥+π/2,依此可求解I⊥和I‖,便可复原目标辐射光L.
2 全局参数p和A∞的获取 2.1 获取p和A∞的基本思想复原目标辐射光需要全局参数p和A∞.由于景物透射光强度随着观测距离的增加而减小,大气散射光强度随着观测距离的增加而增大,当观测距离趋于无穷远时,总光强中的景物透射光分量几乎被完全衰减掉,只剩下大气散射光分量,此时总光强等于无穷远处的大气散射光,即I→A∞.图像中坐标为(x, y) 的像点的偏振度为P(x, y)=
$ P\left( x,y \right)\to \frac{A_{\infty }^{\bot }-A_{\infty }^{\|}}{A_{\infty }^{\bot }+A_{\infty }^{\|}}=p $ | (5) |
因此,通过无穷远区域便可求出p和A∞.不失一般性,假设场景中天空区域为无穷远,则p和A∞为
$ \left. \begin{align} & {{A}_{\infty }}={{I}^{\bot }}(\text{sky})+{{I}^{\|}}(\text{sky}) \\ & p=\frac{{{I}^{\bot }}(\text{sky})-{{I}^{\|}}(\text{sky})}{{{I}^{\bot }}(\text{sky})+{{I}^{\|}}(\text{sky})} \\ \end{align} \right\} $ | (6) |
可依据偏振角范围和大气散射光强度阈值对图像中的天空区域进行分割.利用偏振成像系统采集0°、45°和90°方向上的原始线偏振图像,在中科院西安光机所2号楼顶对距离1.1 km的大楼进行成像,线偏振图像如图 1所示.
基于合适的偏振角范围和大气散射光强度阈值,可准确提取天空区域.计算每一像素对应的斯托克斯参数S0、S1和S2,并逐点计算偏振角.基于不同偏振角范围及大气散射光强度阈值,对天空进行提取.以目标点为中心9×9区域内的像素标记为255(全白),对比图像全白区域与真实天空区域的吻合程度,评判提取效果.当大气散射光强度阈值为前15%,偏振角范围分别为96%~104%和95%~105%时,天空提取结果如图 2(a)和图 2(b)所示;当偏振角范围为94%~106%,大气散射光强度阈值分别为前11%和前22%时,天空提取效果如图 2(c)和图 2(d)所示. 图 2(a)中提取的天空区域出现了大量漏选,图 2(b)基本实现了天空区域的覆盖,图 2(c)中提取的天空区域基本准确,图 2(d)出现了大量误选(见图像右下方出现的白色区域).对比天空提取结果,可得出如下结论:1) 偏振角范围主要影响天空提取的完整性,也即能反映出天空区域是否发生漏选;2) 大气散射光强度阈值主要影响天空提取的准确性,也即能反映出天空区域是否发生误选.
p和A∞为在天空区域的大气衰减等于0的理想状态下得到的,为校正估计误差,引入ε1和ε2对p和A∞进行修正,有pc=pε1、A∞c=A∞ε2,pc和A∞c分别为校正后的p和A∞.
3 去雾结果与分析应用笔者方法对图 1进行去雾处理,设定ε1=1.2,ε2=1.8,去雾结果如图 3(a)所示,去雾后图像对比度和分辨率显著提升,并有效抑制了天空区域的噪声.采用水平线检测法和灰度直方图分析去雾结果.水平线检测结果如图 3(b)所示,去雾前第1栋大楼目标与背景的灰度级分别为103和221,去雾后分别为56和255,检测结果表明,复原后目标与背景的对比度得到了显著提升.去雾前图像的灰度直方图如图 3(c)所示,去雾后图像的灰度直方图如图 3(d)所示,去雾后图像的动态范围展宽34%,细节信息更加丰富.
为验证笔者方法的适用性,在中科院西安光机所2号楼顶对距离180 m的空天大楼成像,获取的0°、45°和90°线偏振图像如图 4(a)~图 4(c)所示.偏振去雾结果如图 4(d)所示,其中ε1=1.5,ε2=2.2.水平线检测结果如图 4(e)所示,去雾前后楼顶2层建筑目标与背景的灰度级分别为106、161和139、255,图像复原后对比度得到显著提升.去雾前后图像的灰度直方图如图 4(f)和图 4(g)所示,去雾后图像动态范围展宽53%.相对于1.1 km的远距离目标,该方法对180 m的近距离目标效果更优.
偏振去雾是提高雾霾天气下图像质量的一种重要技术.研究了大气衰减模型,分析了大气溶胶对成像的影响和大气散射光的偏振特性,提出了静态实时偏振去雾方法.通过斯托克斯参数和穆勒矩阵从场景中提取偏振信息,利用固定方向的线偏振图像实现数据获取,基于偏振测量结果对场景全局参数进行提取,并给出了校正因子,基于大气散射光和景物透射光偏振特性差异复原目标辐射光.提出了基于偏振测量结果的天空提取方法,获取了大气散射光偏振度和无穷远处大气散射光强度,分析了偏振角范围和大气散射光强度阈值对天空提取结果的影响.去雾后图像对比度和分辨率显著提高,距离1.1 km目标的灰度动态范围展宽34%,距离180 m目标的灰度动态范围展宽53%.该方法为去雾成像技术的发展提供了一种新思路.
[1] | Yan Jinpei, Chen Liqi, Lin Qi, et al. Chemical characteristics of submicron aerosol particles during a longlasting haze episode in Xiamen, China[J]. Atmospheric Environment, 2015, 113(14): 118–126. |
[2] |
陈龙, 郭宝龙, 毕娟, 等. 基于联合双边滤波的单幅图像去雾算法[J]. 北京邮电大学学报, 2012, 35(4): 19–23.
Chen Long, Guo Baolong, Bi Juan, et al. Algorithm of single image fog removal based on joint bilateral filter[J]. Journal of Beijing University of Posts and Telecommunications, 2012, 35(4): 19–23. |
[3] | Wang Yuankai, Fan Chingtang. Single image defogging by multiscale depth fusion[J]. IEEE Transactions on Image Processing, 2014, 23(11): 4826–4837. doi: 10.1109/TIP.2014.2358076 |
[4] | Mudge J, Virgen M. Real time polarimetric dehazing[J]. Applied Optics, 2013, 52(9): 1932–1938. doi: 10.1364/AO.52.001932 |
[5] | Liu Fei, Cao Lei, Shao Xiaopeng, et al. Polarimetric dehazing utilizing spatial frequency segregation of images[J]. Applied Optics, 2015, 54(27): 8116–8122. doi: 10.1364/AO.54.008116 |
[6] | Schechner Y Y, Narasimhan S G, Nayar S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3): 511–525. doi: 10.1364/AO.42.000511 |
[7] | Xia Pu, Liu Xuebin. Image dehazing technique based on polarimetric spectral analysis[J]. Optik, 2016, 127(18): 7350–7358. doi: 10.1016/j.ijleo.2016.05.071 |
[8] |
夏璞, 刘学斌, 闫鹏. 偏振透雾成像系统的设计与实验分析[J]. 西安电子科技大学学报:自然科学版, 2016, 43(2): 104–109.
Xia Pu, Liu Xuebin, Yan Peng. Design and experiment of polarization dehazing imaging system[J]. Journal of Xidian University:Natural Science, 2016, 43(2): 104–109. |