2. Science and Technology on Underwater Vehicle Laboratory, Harbin Engineering University, Harbin 150001, China
随着人类日益增多的海洋活动,水下成像技术已经成为人类了解海洋的一种重要手段。水下成像技术面临的主要挑战是如何克服水体对于光线的吸收、散射等作用产生的独特的噪声对于图像质量的影响。常用的水下成像技术包括普通光源成像,水下激光成像。由于水中介质对自然光的衰减作用较强,普通光源成像的距离较短,形成的水下图像的质量较差。采用具有较好的通透性的激光光源能够在一定程度上抑制介质对于光线的衰减以及后向散射的作用,水下图像的传输距离、成像精度、噪声抑制能力均优于普通光源成像。
虽然激光水下成像系统能够在一定程度上降低了水下介质对于散射作用,但是图像仍然受到由于后向散射所引起的散斑噪声的影响[1]。又由于像增强器的非线性特征在一定程度上改变了散斑噪声的统计特性,因此激光水下图像的噪声效果受到了像增强器非线性响应的限制。本文研究了像增强器的非线性响应函数(camera response function,CRF)以及逆响应函数(inverse camera response function,ICRF)[2]对于去噪算法的影响;在此基础上提出了一种对于光晕具有鲁棒性的辐射标定算法用于提高水下激光图像的噪声抑制效果。
1 研究背景 1.1 像增强器的非线性特性像增强器是光路接收器的核心器件,主要由光阴极、微通道板(microchannel plate,MCP)、荧光屏、光纤、CCD组成。理想的像增强器是线性器件,然而在实际环境中,MCP、光纤都会对输入信号产生一定程度的非线性影响,从而导致像增强器的ICRF具有非线性特性。实际情况和理想状态下,像增强器的响应如图 1所示。
![]() |
图1 线性ICRF以及非线性ICRF Figure 1 Linear ICRF and nonlinear ICRF |
激光水下图像主要受到与光路同向的后向散射的影响,后向散射在数字图像中表现为与入射激光强度有关的散斑噪声。散斑噪声的统计特性易受到非线性响应的影响,从而影响噪声的抑制效果。令原始的激光图像是xi,ui的均值为u,方差是${\tilde u}$的白噪声,g是非线性响应函数,zi是经过g作用后的图像。散斑噪声的表达式[3]为
$ g\left( {{z_i}} \right) = {x_i}u $ | (1) |
对式(1)两边同时取期望,由于散斑噪声与有用信号统计独立,则xi的局部均值为
$ {{\bar x}_i} = \frac{{\bar g\left( {{z_i}} \right)}}{{\bar u}} $ | (2) |
对式(1)两边同时乘方再取期望,根据xi的局部均值表达式得到xi的局部方差:
$ {{\tilde x}_i} = \frac{{{{\tilde g}^2}\left( {{z_i}} \right) + {{\bar g}^2}\left( {{z_i}} \right)}}{{\tilde u + {{\bar u}^2}}} - \frac{{{{\bar g}^2}\left( {{z_i}} \right)}}{{{{\bar u}^2}}} $ | (3) |
得到xi和$ {{\tilde x}_i} $后,根据Kalman滤波,则xi的最优估计可以表示为以下迭代形式:
$ {{\hat x}_i} = {x_i} + \frac{{\bar u{{\tilde x}_i}\left[ {g\left( {{z_i}} \right) - \bar u{{\bar x}_i}} \right]}}{{{{\bar x}_i}^2\tilde u + {{\tilde x}_i}{{\bar u}^2}}} $ | (4) |
通过式(4)可知,如果直接对输出的灰度图像进行Kalman滤波,则图像复原结果与理论值存在一定的理论误差。
1.3 辐射度标定传统的辐射标定方法通过查表以及不断改变入射光源辐射度,标定出入射光子以及系统响应之间的对应关系[4-5]。由于制造工艺以及水下物质的衰减作用导致真实的辐照度与查表得到的理论值存在误差。另一种常用的辐射度标定方法是基于多曝光图像的辐射标定方法。这类方法的前提条件是相机位置需要保持绝对静止,如果相机出现微小的移位则会出现光晕现象。
2 标定算法原理 2.1 灰阶映射设函数f是g的反函数,辐射标定的目标是求解g(0),g(1),...,g(255)。令li是灰阶i的辐射度,tj是积分时间,yi.j是灰阶i在j次积分的灰阶值:
$ g\left( {{y_{i,j}}} \right) = {l_i}{t_j}\; $ | (5) |
这里将li在积分时间tj、tj+1对应的灰阶yi,j、yi,j+1定义为灰阶映射。根据式(5)可知yi,j、yi.j+1满足以下约束关系:
$ t_j^{ - 1}g\left( {{y_{i,j}}} \right) = t_{j + 1}^{ - 1}g\left( {{y_{i,j + 1}}} \right) $ | (6) |
设函数H(·)表示概率分布函数,C(·)表示累积概率分布函数,则存在以下引理和定理。
引理1 对于任意严格单调函数h,等式Hh(li)=H(li)恒成立。
证明 因为h具有严格的单调性,则li与f(li)存在一一映射的关系。因此li与对应的f(li)出现的概率相等。证毕。
定理1 同一光照辐射度在相邻两个曝光图像中对应灰阶的累积概率分布相等,即C(yi,j)=C(yi,j+1)。
证明 在灰度序列中对yi,j进行累积分布运算得到以下表达式:
$ C\left( {{y_{i,j}}} \right) = C\left( {f\left( {{l_i} \cdot {t_j}} \right)} \right)\; $ | (7) |
根据累积分布函数的定义,式(7)可以变换为以下形式:
$ C\left( {{y}_{i,j}} \right)=\sum{_{f\left( {{t}_{j}}\cdot {{l}_{k}} \right)\le {{y}_{i,j}}}H\left( f\left( {{l}_{i}}\cdot {{t}_{j}} \right) \right)} $ | (8) |
由于f是严格单调增加的函数,根据引理1,式(8)可以变换为以下形式:
$ C\left( {{y}_{i,j}} \right)=\sum{_{f\left( {{t}_{j}}\cdot {{l}_{k}} \right)\le {{y}_{i,j}}}H\left( {{t}_{j}}\cdot {{l}_{k}} \right)} $ | (9) |
设h(k)=t·k,显然h是一个严格单调增加的函数,根据引理1,式(9)可以转化为
$ C\left( {{y}_{i,j}} \right)=\sum{_{f\left( {{t}_{j}}\cdot {{l}_{k}} \right)\le {{y}_{i,j}}}H\left( {{l}_{k}} \right)} $ | (10) |
因为g具有单调增加性,则式(10)的取值范围转化为lk≤tj-1·g(yi,j。将lk≤tj-1·g(yi,j代入式(10)中得到以下表达式:
$ C\left( {{y}_{i,j+1}} \right)=\sum{_{{{l}_{k}}\le t_{j}^{-1}\cdot g\left( {{y}_{i,j}} \right)}H\left( {{l}_{k}} \right)} $ | (11) |
同理可得yi,j+1的累积分布如式(12)所示:
$ C\left( {{y_{i,j + 1}}} \right) = \sum {_{{l_k} \le t_{j + 1}^{ - 1} \cdot g\left( {{y_{i,j + 1}}} \right)}H\left( {{l_k}} \right)} $ | (12) |
根据约束条件(6)可知式(11)与(12)的累加范围相等,因此C(yi,j)=C(yi,j+1)。证毕。
根据定理1可知,只要在j+1幅图像中找到对应的yi,j+1,使yi,j+1的累积分布与yi,j相等,则yi,j+1是yi,j的灰阶映射。
2.2 递推表达式假设积分时间的初始条件是yi.1=i,根据灰阶映射满足等式(6)的约束关系,则初次积分与二次积分的灰阶映射如式(13)所示:
$ g\left( i \right) = g\left( {{y_{i,1}}} \right) = {t_1} \cdot t_2^{ - 1} \cdot g\left( {{y_{i,2}}} \right) $ | (13) |
同理g(yi,2)如式(14)所示:
$ g\left( {{y_{i,2}}} \right) = {t_2} \cdot t_3^{ - 1} \cdot g\left( {{y_{i,3}}} \right) $ | (14) |
将fCRF函数作用于式(14)的等号两侧
$ {y_{i,2}} = f\left( {{t_2} \cdot t_3^{ - 1} \cdot {f^{ - 1}}\left( {{y_{i,3}}} \right)} \right) $ | (15) |
将式(15)代入式(13)得到经过三次曝光之后灰阶i对应的辐射度如式(16)所示:
$ g\left( i \right) = {t_1} \cdot t_3^{ - 1} \cdot g\left( {{y_{i,3}}} \right) $ | (16) |
以此类推可以得到N次曝光后灰阶i对应的灰阶映射的通项公式:
$ g\left( i \right) = g\left( {{y_{i,1}}} \right) = {t_1} \cdot t_N^{ - 1} \cdot g\left( {{y_{i,N}}} \right)\; $ | (17) |
根据式(17)可知只要g(yi,N)的表达式已知,则能够得到g(i)的标定结果。
2.3 积分时间增量将多曝光图像按照积分时间从大到小的顺序进行排列,当积分时间足够大时存在以下关系yi,1>yi,2>…>yi,j≈0。根据图 1可知当灰阶yi,j足够小时,可以将ICRF近似为线性函数,所以这里将ICRF分解为非线性曲线和线性曲线两部分,利用递推的思想将响应强度较高的非线性部分转化为响应强度较低的线性部分。
假设$ {\tilde{y}} $i,2是距离浮点型的灰阶yi,2最近的整数型灰阶,t2+△ti,2是$ {\tilde{y}} $i,2对应的积分时间;同理,$ {\tilde{y}} $i,3是距离yi,3最近的整型灰阶,t3+△ti,3是$ {\tilde{y}} $i,3对应的积分时间。以此类推,可以得到一个时间序列△ti,j以及整型灰阶序列$ {\tilde{y}} $i,j。这里将△ti,j定义为灰阶i在第j次积分时间对应的积分时间增量,则$ {\tilde{y}} $i,j,tj,△ti,j满足如下函数关系:
$ {{{\tilde{y}}}_{i,j}}=f\left( \left( {{t}_{j}}+\vartriangle {{t}_{i,j}} \right)\cdot {{l}_{j}} \right) $ | (18) |
将等式(18)在(tj+△ti,j)·li=tj·li进行一阶泰勒级数展开:
$ {{{\tilde{y}}}_{i,j}}=f\left( {{t}_{j}}\cdot {{l}_{i}} \right)+{f}'\left( {{t}_{j}}\cdot {{l}_{j}} \right)\cdot {{l}_{i}}\cdot \vartriangle {{t}_{i,j}} $ | (19) |
同理j+1时刻的表达式:
$ {{y}_{i,j+1}}=f\left( {{t}_{j}}\cdot {{l}_{i}} \right)+{f}'\left( {{t}_{j}}\cdot {{l}_{j}} \right)\left( {{t}_{j+1}}-{{t}_{j}} \right){{l}_{i}} $ | (20) |
联立式(19)、(20)得到△ti,j的表达式:
$ \vartriangle {{t}_{i,j}}=\frac{\left( {{{\tilde{y}}}_{i,j}}-{{y}_{i,j}} \right)\cdot \left( {{t}_{j}}-{{t}_{j+1}} \right)}{{{y}_{i,j+1}}-{{y}_{i,j}}} $ | (21) |
通过式(21)可以得到灰阶i对应的积分时间增量序列,即△ti,1,△ti,2,...,△ti,N。根据式(17)得到引入时间增量后ICRF表达式:
$ g\left( i \right)=g\left( {{y}_{i,1}} \right)=\frac{{{t}_{1}}\cdot g\left( {{{\tilde{y}}}_{i,N}} \right)}{{{t}_{N}}+\vartriangle {{t}_{i,N}}} $ | (22) |
因为ICRF曲线端点的灰阶值分别是0和1,所以采用0和255作为参考点,通过线性插值对ICRF的线性部分进行估计。设灰阶i与0距离最近的灰度映射是yi,mi,mi是yi,mi的曝光次数,则ICRF为
$ \begin{matrix} g\left( {{{\tilde{y}}}_{i,{{m}_{i}}}} \right)=\frac{g\left( {{{\tilde{y}}}_{255,{{m}_{255}}}} \right)-g\left( {{{\tilde{y}}}_{0,{{m}_{0}}}} \right)}{{{{\tilde{y}}}_{255,{{m}_{255}}}}-{{{\tilde{y}}}_{0,{{m}_{0}}}}}\times \\ \left( {{{\tilde{y}}}_{i,{{m}_{i}}}}-{{{\tilde{y}}}_{0,{{m}_{0}}}} \right)+{{{\tilde{y}}}_{0,{{g}_{0}}}} \\ \end{matrix} $ | (23) |
根据先验知识可知$ {\tilde{y}} $0,m0=0,g($ {\tilde{y}} $0,m0)=0,因此只有g($ {\tilde{y}} $255,m255)的值未知。由于灰阶255对应值为1,通过式(22)可以得到灰阶255对应的ICRF的值可以表示为以下形式:
$ g\left( 255 \right)=1=\frac{{{t}_{1}}\cdot g\left( {{{\tilde{y}}}_{255,{{m}_{255}}}} \right)}{{{t}_{{{m}_{255}}}}+\vartriangle {{t}_{255,{{m}_{255}}}}}\ $ | (24) |
整理式(24)得到g($ {\tilde{y}} $255,m255)的值并将g($ {\tilde{y}} $255,m255)以及ICRF的已知条件代入式(23)中得到灰阶i线性部分的ICRF表达式:
$ g\left( {{{\tilde{y}}}_{i,{{m}_{i}}}} \right)=\frac{{{{\tilde{y}}}_{i,{{m}_{i}}}}\cdot \left( {{t}_{{{m}_{255}}}}+\vartriangle {{t}_{255,{{m}_{255}}}} \right)}{{{t}_{1}}\cdot {{{\tilde{y}}}_{255,{{m}_{255}}}}} $ | (25) |
将式(25)代入式(23)中,将ICRF的递推关系重新写为以下形式:
$ g\left( i \right)=\frac{{{{\tilde{y}}}_{i,{{m}_{i}}}}\cdot \left( {{t}_{{{m}_{255}}}}+\vartriangle {{t}_{255,{{m}_{255}}}} \right)}{{{{\tilde{y}}}_{255,{{m}_{255}}}}\left( {{t}_{{{m}_{i}}}}+\vartriangle {{t}_{i,{{m}_{i}}}} \right)},\left( 0,255 \right) $ | (26) |
由于式(26)中的$ {\tilde{y}} $i,mi和$ {\tilde{y}} $255,m255可以通过式(22)计算出来,根据式(21)可以计算曝光增量△t255,m255和△ti,mi,因此通过式(26)可以得到任意灰阶值对应的光照辐射度。
3 实验结果与数据分析实验部分通过脉宽为50 ns的激光器和最小门宽为15 ns的增强型CCD构成距离选通激光水下成像系统。
3.1 辐射标定噪声抑制效果的影响实验部分首先对图像Lena进行散斑噪声进行污染;通过如图 1所示的ICRF进行非线性变换;通过对比辐射标定前、后,恢复图像的主观效果以及峰值信噪比(peak signal noise ratio,PSNR)、结构相似度(structural similarity index measurement,SSIM)[6],验证了本文算法的有效性。图 2~4分别是通过Sarode算法[3]、Kaur算法[7]、Hoque算法[8]获得的图像恢复结果。
![]() |
图2 Sarode算法复原结果 Figure 2 Sarode algorithm restoration results |
![]() |
图3 Kaur算法复原结果 Figure 3 Kaur algorithm restoration results |
![]() |
图4 Hoque算法复原结果 Figure 4 Hoque algorithm restoration results |
从图 2~4可以看出同种噪声抑制算法对于辐射标定后的散斑噪声抑制效果好于未加入辐射标定的对应的恢复图像。相比于未加入辐射标定的图像复原结果,辐射标定后对应的恢复图像局部的颗粒效果以及灰度的起伏得到明显的抑制,图像整体的噪声抑制能力得到显著的提高。表 1是图 2~4对应的SSIM以及PSNR,从表 1可知经过辐射标定后,SSIM以及PSNR均高于标定前,说明辐射标定有助于改善散斑噪声的抑制效果,加入辐射标定后图像的复原结果与原始图像的相似度较高。
算法名称 | SSIM | PSNR | ||
标定前 | 标定后 | 标定前 | 标定后 | |
Sarode | 0.824 | 0.875 | 36.2 | 45.7 |
Kaur | 0.798 | 0.857 | 33.4 | 41.8 |
Hoque | 0.774 | 0.844 | 32.1 | 40.8 |
由于多曝光图像对应同一场景,因此线性图像亮度分布规律需要尽可能的保持一致。本文采用线性多曝光图像的亮度方差来测量辐射标定方法对于光晕的抑制程度,线性多曝光图像的方差为
$ \gamma =\frac{1}{N}\sum\limits_{j=1}^{N}{\left[ \frac{1}{M\cdot {{t}_{j}}}\sum\limits_{i=1}^{M}{{{g}^{2}}\left( {{z}_{i,j}} \right)-{{\varphi }^{2}}} \right]}\ $ | (27) |
式中:φ是线性多曝光图像的均值;γ描述了图像的亮度分布与亮度均值的偏移程度,如果γ的值越小,说明辐射标定后图像的亮度分布距离亮度均值较近,标定函数抑制光晕的效果越好,反之亦然。图 5是通过调整像增强器的积分时间得到的多曝光图像。
![]() |
图5 立方体对应的多曝光图像 Figure 5 Multi exposure image of a cube |
图 6、7分别是通过Sarode[3]算法得到的立方体、椭圆形的恢复图像。图 8是通过线性方法、Debevec算法[9]、Granados算法[10]、本文算法标定的ICRF。
![]() |
图6 立方体的噪声图像复原结果 Figure 6 Noise image restoration results of a cube |
![]() |
图7 椭圆形的噪声图像复原结果 Figure 7 Noise image restoration results of a ellipse |
![]() |
图8 不同算法的辐射标定结果 Figure 8 Radiation calibration results of different algorithms |
表 2是4种ICRF标定方法对应的γ值,可以看出经过辐射标定后,本文算法对应的亮度的方差小于其他辐射标定法,说明辐射标定后图像序列能够最大程度地保证同一场景的亮度分布规律,因此本文算法对于光晕具有较高的鲁棒性。
算法名称 | 立方体 | 椭圆形 |
线性算法 | 0.161 | 0.175 |
Debevec | 0.254 | 0.274 |
Granados | 0.211 | 0.215 |
本文算法 | 0.142 | 0.124 |
本文研究了像增强器的非线性响应对于散斑噪声抑制算法的影响,提出一种对于光晕具有鲁棒性的辐射标定算法。通过实验,验证了在噪声抑制算法之前先对增强器进行辐射标定有助于提高激光水下图像的散斑噪声抑制效果。
[1] | SAVAGE L. Underwater imaging gets clearer[J]. Optics and photonics news, 2013, 24(7): 30–37. |
[2] | KIM S, TAI Y W, KIM S J, et al. Nonlinear camera response functions and image deblurring[C]//Proceedings of computer vision and pattern recognition, IEEE, 2012: 25-32. |
[3] | SARODE M V, DESHMUKH P R. Reduction of speckle noise and image enhancement of images using filtering technique[J]. International journal of advancements in technology, 2011, 2(1): 30–38. |
[4] | ZHAO Y, ZHANG L, YAN F, et al. Linearity measurement for image-intensified CCD[C]//Proceeding of international symposium on advanced optical manufacturing and testing technologies, 2010: 765637-765637-5. |
[5] | HADERKA O, PEȐINA J, MICHÁLEK V, et al. Absolute spectral calibration of an intensified CCD camera using twin beams[J]. JOSA B, 2014, 31(10): B1–B7. |
[6] | WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600–612. |
[7] | KAUR A, SINGH K. Speckle noise reduction by using wavelets[C]//Proceeding of national conference on computational instrumentation,Chandigarh,India, 2010: 198-203. |
[8] | HOQUE M R, RASHED-AL-MAHFUZ M. A new approach in spatial filtering to reduce speckle noise[J]. International journal of soft computing and engineering, 2011, 6(1): 2231–2307. |
[9] | DEBEVEC P E, MALIK J. Recovering high dynamic range radiance maps from photographs[C]//Proceeding of ACM SIGGRAPH 2008 classes. New York: ACM Press, 2008: 31. |
[10] | GRANADOS M, AJDIN B. WAND M, et al. Optimal HDR reconstruction with linear digital cameras[C]//Proceeding of IEEE conference on computer vision and pattern recognition. San Francisco: IEEE, 2010: 215-222. |