舰船科学技术  2024, Vol. 46 Issue (2): 143-149    DOI: 10.3404/j.issn.1672-7649.2024.02.025   PDF    
深海载人潜水器多约束先验图像增强方法
秦豪1,2,3,4, 赵洋2,3,4, 王国刚1     
1. 沈阳化工大学 信息工程学院,辽宁 沈阳 110142;
2. 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁 沈阳 110016;
3. 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110169;
4. 辽宁省水下机器人重点实验室,辽宁 沈阳 110169
摘要: 针对深海载人潜水器人造光源照射造成深海图像颜色失真、散射模糊以及光照不均匀等图像降质问题,提出一种基于多约束先验的贝叶斯Retinex深海载人潜水器图像增强方法。该方法首先通过一种基于统计的颜色校正方法对图像进行色彩校正处理,然后对光照图先后进行平滑、结构和不均匀光照高亮区域3种先验,并将3种先验条件结合到贝叶斯模型当中,并选取Lab颜色空间中L分量作为初始光照图来进行光照图估计的最优化求解。最后,通过伽马校正的方法对光照图和反射图进行处理,获得增强后的深海图像。实验结果表明,所提出的方法平均运行时间4.39 s,具有较低的复杂度,更加适合深海恶劣环境下的图像增强,处理得到的深海图像具有更好的观测效果。
关键词: 水下图像增强     贝叶斯估计     Retinex理论     深海载人潜水器    
Research on multi-constrained priori image enhancement for deep-sea human occupied vehicle
QIN Hao1,2,3,4, ZHAO Yang2,3,4, WANG Guo-gang1     
1. College of Information Engineering, Shenyang University of Chemical Technology, Shenyang 110142, China;
2. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China;
3. Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110169, China;
4. Key Laboratory of Marine Robotics, Liaoning Province, Shenyang 110169, China
Abstract: A Bayesian Retinex image enhancement method based on multi-constraint prior was proposed to solve the problem of image degradation caused by artificial light source illumination of deep-sea Human Occupied Vehicle, such as color distortion, scattering blur and uneven illumination. The method first through a statistical color correction method based on the image color correction processing, and then the illumination map successively smoothing, structure and uneven illumination highlight region three prior, and the three prior conditions into the Bayesian model, and select the L component in the Lab color space as the initial illumination map to optimize the illumination map estimation. Finally, enhanced deep sea images were obtained by gamma correction for the illumination and reflection maps. The experimental results show that the proposed method has an average running time of 4.39 s, which has low complexity and is more suitable for image enhancement work in harsh deep-sea environments, and the processed deep-sea images have better observation effect.
Key words: underwater image enhancement     Bayesian estimation     Retinex theory     deep-sea human occupied vehicle    
0 引 言

载人潜水器在深海执行科研任务时,依靠人造光源进行照明,由于光吸收和深海人造光成像的缘故,造成深海图像存在蓝绿偏色、光照不均一、雾化严重等图像失真现象,这对于深海资源勘测以及深海图像资料实际使用带来了不便。同时图像降质问题对于基于图像的AUV与深海载人潜水器精准对接技术也形成了障碍。鉴于以上问题,对于深海载人潜水器图像增强技术的研究就显得尤为重要。

针对水下图像颜色失真、细节丢失等图像降质现象,受生成对抗网络(GAN)的启发,Guo等[1]提出一种用于水下图像增强的多尺度密集GAN,通过引入多尺度、密集级联和残差学习策略来提高水下图像增强的性能。Zhuang等[2]提出一种贝叶斯retinex算法,用于增强具有多阶反射和光照梯度先验信息的单个水下图像。但受限于水下环境复杂及水对光的散射和吸收效应,上述算法无法处理水下图像的光照不均匀现象。Zhang等[3]在水下图像的RGB空间中,分别对3个颜色通道的特征值均值和方差进行计算,并对光照图进行调整,达到恢复水下图像自然色彩的同时增强图像对比度的效果(VCIP)。针对水下光照不均匀及光照较弱引起的成像模糊及失真问题,刘卫东等[4]提出一种基于Retinex和ADMM优化的水下图像增强方法,达到了抑制光照影响的结果。针对具有光照不均匀特征的水下图像的特性,Fu等[5]根据Retinex理论提出一种用于分解单幅水下图像的反射分量和光照分量的变分框架来增强水下图像,该算法增强效果较好,但较为复杂。但上述几种算法对于深海人造点光源的聚射效应所造成的深海光照不均匀部分的增强效果并不明显,常会造成图像细节的丢失。

本文针对深海载人潜水器人造点光源的聚射效应而引起的颜色失真、模糊以及光照不均匀等图像降质问题,提出一种基于平滑先验、结构先验与不均匀光照高亮区域先验相结合的贝叶斯Retinex深海载人潜水器图像增强方法。该方法的提出可为深海载人潜水器图像增强系统的研究提供依据。

1 深海水下人造光成像模型分析

图1图2分别为2种不同类型的水下图像(本文把区别于深海图像的其他水下图像统称为普通水下图像),普通水下图像来源于网络,深海图像来源于中国科学院沈阳自动化研究所保存的“奋斗者”号载人潜水器在马里亚纳海沟作业时,带回的图像资料。从直观对比中可清楚看到,深海水下图像与普通水下图像存在一定差异,最主要的差异是深海水下图像呈现出亮斑,存在光吸收、散射模糊和光照不均一的交叉影响而导致的图像降质问题。所以普通的光照均匀的水下成像模型并不能适用于深海水下成像分析以及模型建立当中。

图 1 普通水下图像 Fig. 1 Ordinary underwater image

图 2 马里亚纳海沟深海水下图像 Fig. 2 Deep-sea underwater image of the Mariana Trench

本文依据深海实际人造光源取景的现象,提出深海水下人造光成像模型,如图3(a)所示。深海水下图像会由于水中粒子(包括微型浮游植物、彩色溶解有机物和非藻类粒子)的光吸收和散射的不利影响而退化。不同波长的光在水中以不同的速率衰减,具体如图3(b)所示。人造光在深海照射的过程中,红光首先在5 m深处因其最长波长或最小能量而消失,然后棕色和黄色光分别在10 m和20 m深处消失,而绿光和蓝光由于波长较短或能量较大,最终分别在30 m和60 m深处消失[6]

图 3 深海水下人造光成像模型及光吸收图 Fig. 3 Deep-sea underwater artificial light imaging model and light absorption map

结合图2图3可看出,水下图像平面上的总辐照度在水下介质中有3个主要组成部分:直接分量、前向散射和后向散射[7]。简化的水下光学模型可表示为:

$ {{I}}\left( {{x}} \right) = {{{\rm A}}}\left( {{x}} \right){e^{ - \eta d\left( x \right)}} + {{{B}}_\infty }\left( {{x}} \right)\left( {1 - {e^{ - \eta d\left( x \right)}}} \right)。$ (1)

式中:${{I}}\left( {{x}} \right)$为待恢复图像;${{A}}\left( {{x}} \right)$为物体的辐射度;$d\left( x \right)$为观测器和物体之间的距离;$\eta $为衰减系数;${e^{ - \eta d\left( x \right)}}$为通过水下介质的传输。${{{B}}_\infty }\left( {{x}} \right)$为一种颜色矢量,称为散射光。

从分析可知,深海水下图像成像条件中直射光部分和散射光部分分别由光照均匀的部分和光照不均匀的部分两部分组成,

假设光照不均一的那部分光照为${\boldsymbol{V}}\left( {\boldsymbol{x}} \right)$,直射光中光照均匀部分定义为${{\boldsymbol{J}}_{\boldsymbol{D}}}\left( {\boldsymbol{x}} \right)$,光照不均匀部分定义为${{\boldsymbol{J}}_{\boldsymbol{V}}}\left( {\boldsymbol{x}} \right)$。同理,散射光中的光照均匀部分定义为${{\boldsymbol{B}}_{\boldsymbol{D}}}\left( {\boldsymbol{x}} \right)$,光照不均匀部分定义为${{\boldsymbol{B}}_{\boldsymbol{V}}}\left( {\boldsymbol{x}} \right)$。则深海人造光成像模型的公式可写为:

$\begin{split} {{\boldsymbol{I}}_{\boldsymbol{s}}}\left( {\boldsymbol{x}} \right) = & \left( {{{\boldsymbol{J}}_{\boldsymbol{D}}}\left( {\boldsymbol{x}} \right) + {{\boldsymbol{J}}_{\boldsymbol{V}}}\left( {\boldsymbol{x}} \right)} \right){e^{ - \eta {{d}}\left( x \right)}} + \\ & \left( {{{\boldsymbol{B}}_{\boldsymbol{D}}}\left( {\boldsymbol{x}} \right) + {{\boldsymbol{B}}_{\boldsymbol{V}}}\left( {\boldsymbol{x}} \right)} \right)\left( {1 - {e^{ - \eta {{d}}\left( x \right)}}} \right)。\end{split} $ (2)

增强后的深海图像可表达为:

$ {{\boldsymbol{J}}_{\boldsymbol{D}}}\left( {\boldsymbol{x}} \right) = \frac{{{{\boldsymbol{I}}_{\boldsymbol{s}}}\left( {\boldsymbol{x}} \right) - {\boldsymbol{W}}\left( {\boldsymbol{x}} \right)\left( {1 - T\left( x \right)} \right)}}{{T\left( x \right)}} - {{\boldsymbol{J}}_{\boldsymbol{V}}}\left( {\boldsymbol{x}} \right)。$ (3)

式中:${{\boldsymbol{J}}_{\boldsymbol{D}}}\left( {\boldsymbol{x}} \right)$为经过图像增强过程恢复的深海图像,${{\boldsymbol{I}}_{\boldsymbol{s}}}\left( {\boldsymbol{x}} \right)$为原始的待恢复深海图像;${\boldsymbol{B}}\left( {\boldsymbol{x}} \right){\boldsymbol{ = }}{{\boldsymbol{B}}_{\boldsymbol{D}}}\left( {\boldsymbol{x}} \right){\boldsymbol{ + }}{{\boldsymbol{B}}_{\boldsymbol{V}}}\left( {\boldsymbol{x}} \right)$为散射光;$T\left( x \right) = {e^{ - \eta d\left( x \right)}}$为水下介质的传输;$\eta $为深海中光衰减系数;d(x)为深海中目标物体和摄像机镜头之间的距离。

根据深海图像成像模型分析可知,深海水下图像恢复的主要问题在于对光照分量的恢复,这其中包括散射光成分${{B}}\left( {{x}} \right)$和光源照射强度变化的部分${{{J}}_{{V}}}\left( {{x}} \right)$。从数学角度分析,这两者的光照分量都存在很大的不确定性,难以精确的进行估计。但在深海光照的变化过程是非常缓慢的,可近似地实现对光照图的估计,从而达到对深海图像的光照分量恢复。此外,在光照不均的条件下,${{B}}\left( {{x}} \right)$${{{J}}_{{V}}}\left( {{x}} \right)$形成的图像互相混合在一起,难以分开与分别估计。因此,对两者的混合光照图像进行一体化估计。

为了排除深海图像颜色的干扰,首先实现对深海图像颜色的恢复,然后通过Retinex理论和贝叶斯估计的方法实现对深海图像光照图最优化的估计,达到深海图像增强的效果。

2 深海水下图像增强方法研究 2.1 颜色校正

在深海中,由人工照明提供光源所采集的图像同样遵循光吸收的原则,红色光波最先消失,蓝色和绿色光波最后消失,所以采集到的深海水下图像多呈现处蓝色或者绿色。为了能够恢复水下图像的色彩,在本次系统设计中,对于原始的深海水下RGB图像采用一种基于统计的简单有效水下图像颜色恢复方法[6, 9]。将原始图像看作$U$,然后通过下面的步骤进行计算:

步骤1 在RGB原始深海图像中,分别计算图像$U$的均值和均值方差。

步骤2 利用公式分别计算处RGB三通道中每个通道的最小值和最大值:

$ U_{\max }^c = U_{{\mathrm{mean}}}^c + \mu U_{{{\mathrm{var}}} }^c,c \in \left( {R,G,B} \right),$ (4)
$ U_{\min }^c = U_{{\mathrm{mean}}}^c - \mu U_{{{\mathrm{var}}} }^c,c \in \left( {R,G,B} \right)。$ (5)

步骤3 通过公式得到颜色校正后的图像。

$ U_{CR}^c = 255 \times \frac{{{U^c} - U_{\min }^c}}{{U_{\max }^c - U_{\min }^c}},c \in \left( {R,G,B} \right)。$ (6)

式中:${U_{\max }}$${U_{\min }}$分别为图像$U$的R、G、B三通道中图像的最大值和最小值;${U_{{\mathrm{mean}}}}$${U_{{{\mathrm{var}}} }}$为均值和均值方差;$\mu $为一个用来调节水下图像增强结果饱和度的参数,按照经验通常把$\mu $设定为2.5;${U_{CR}}$为颜色校正后的图像。通过上面公式的计算最终得到颜色校正后的RGB图像。

2.2 模型设计及公式化 2.2.1 模型建立—贝叶斯估计条件先验

Retinex理论[2,9]表明,人类视觉系统可自适应处理不同亮度和颜色的照明,基于Retinex的方法可用来解决曝光不足和模糊的问题。根据Retinex理论,经过颜色校正后的图像${U_{CR}}$可写为光照图L和反射图R的乘积。

$ U_{CR}^c = {L^c} \cdot {R^c},c \in \left( {R,G,B} \right)。$ (7)

式中,${U_{CR}} \in \left[ {0,255} \right],R \in \left[ {0,1} \right],L \in \left[ {0,255} \right]$,则经过增强处理后的图像可表示为:

$ {U_{enhanced}} = {F_1}\left( L \right) \cdot {F_2}\left( R \right)。$ (8)

式中,${F_1}\left( \cdot \right)$${F_2}\left( \cdot \right)$为对光照图L和反射图R分别进行的增强操作的运算。对于光照图L和反射图R的估计是一个不适定问题,所以需引入先验约束条件,对其进行估计。

文献[10-11]提出了通过平滑先验和结构先验的方法对光照图像进行估计,然后将先验条件化为正则项,直接得出了最优化的方程。深海水下图像由于人造光照射取景而形成亮斑,亮斑聚集点本文称之为不均匀光照高亮区域,传统的结构平滑先验并不能很好地对深海图像的光照图进行优化处理,因此本文提出平滑先验、结构先验和不均匀光照高亮区域先验相结合的先验条件来处理深海光照图增强问题。同时本文结合贝叶斯模型[2-12]来描述以上Retinex理论中图像分解的过程,$ {U_{CR}} $作为观察图像,$ L、R、Q $作为一组假设模型参数,假设模型参数都是独立的,则有:

$ p\left( {L,R,Q|{U_{CR}}} \right) \propto p\left( {{U_{CR}}|L,R,Q} \right) \cdot p\left( L \right) \cdot p\left( R \right) \cdot p\left( Q \right)。$ (9)

已知${U_{CR}}$,问题的关键是根据最大后验原理来推断出所有未知数:

$ \mathop {\arg \max }\limits_{L,R,Q} \left[ {p\left( {U|L,R,Q} \right) \cdot p\left( L \right) \cdot p\left( R \right) \cdot p\left( Q \right)} \right]。$ (10)

由Retinex理论公式[9]可知:

$ R = U/L。$ (11)

可推断出,反射图R可以由光照图L决定,为简化计算过程,降低模型的复杂度,先验贝叶斯模型可简化为:

$ \mathop {\arg \max }\limits_L \left[ {p\left( {L|U} \right)} \right] = \mathop {\arg \max }\limits_L \left[ {p\left( {U|L} \right) \cdot p\left( L \right)} \right]。$ (12)

由式(12)可看出,光照图L先验在深海水下图像增强的过程中起主要作用,所以深海图像增强主要就是对光照图L进行最优化求解,文献[4]提出一种简化的求解光照图L的方法,以此来重新定义先验$p(L)$,将其与贝叶斯框架模型相结合,得到新的光照图L最优化公式:

$ \mathop {\arg \min }\limits_L \left[ {\left\| {\tilde L - L} \right\|_F^2 + \kappa {{\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|}_1}} \right]。$ (13)

式中:$\kappa $为平衡两项之间的系数;${\left\| \cdot \right\|_F}$${\left\| \cdot \right\|_1}$分别为$f{\mathrm{robenious}}$${l_1}{\mathrm{norms}}$;正则项$\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|$来源于光照图先验项$p(L)$$\tilde L$为初始光照图,全变分(Total Variation)正则项${\left\| {\nabla L} \right\|_{TV}}$保证了光照图的区域平滑;${\boldsymbol{W}}$为结构先验中的权值矩阵。

$ {\boldsymbol{W}} = \frac{1}{{\left| {\nabla \tilde L} \right| + \varepsilon }}。$ (14)

为了能够让模型中的3种先验条件(平滑先验、结构先验、不均匀光照高亮区域先验)在深海图像光照图最优化估计中共同达到先验约束的作用,在模型设计的过程中将三者结合到式(13)中的$\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|$项中,其中平滑先验体现在$\left\| {\nabla L} \right\|$中,结构先验和不均匀光照高亮区域先验体现在权值矩阵${\boldsymbol{W}}$中。这样做的目的是在保证3种先验条件充分发挥作用的同时尽可能降低计算复杂度。

为了保证3种先验条件结合的有效性和合理性,采用一种自适应地调整梯度的方法,并将此思想应用到权值矩阵${\boldsymbol{W}}$上。在权值矩阵的求解过程中,使用将初始光照图的梯度$\nabla \tilde L$调整后的梯度$\nabla G$,作为权值矩阵${\boldsymbol{W}}$求解的参数。将权值矩阵${\boldsymbol{W}}$设为:

$ {\boldsymbol{W}} = \frac{1}{{\left| {\nabla G} \right| + \varepsilon }},$ (15)
$ \nabla G = Z(x) \cdot \nabla \tilde L。$ (16)

式中,$Z\left( x \right)$式一个非线性光滑函数,主要是用来调整和控制深海图像中不均匀光照高亮区域的梯度变化,通过该函数对初始光照图的梯度$\nabla \tilde L$进行调整,进而得到调整后的梯度$\nabla G$

将深海图像从RGB颜色空间转换到Lab颜色空间[5],在Lab颜色空间中,L通道表示整个图像的亮度值,不受a通道和b通道的影响,可用来作为初始光亮值$\tilde L$,同时颜色空间的转换也降低了计算复杂度。

在非线性光滑函数$Z\left( x \right)$的选取以及相应参数值确定的过程中,可确定其与图像区域的亮度有关。在亮度信息缩放的过程中,一般是利用高斯分布求取光照亮度的平均值[13],这种方法对于光照均匀的图像的光亮信息处理效果显著,但对于深海图像来说,其图像存在亮斑,这就造成了整个图像中的光亮像素不均一的现象,图像当中出现了不均匀光照高亮区域,此时若还是取光照亮度的平均值进行缩放,就有可能导致原本的光亮像素较低的部分缩放过度,导致细节信息丢失,边缘信息不完整。

因此使用梯度阈值$H$来定义深海图像中的不均匀光照高亮区域,大于梯度阈值$H$的部分认定为深海图像的不均匀光照高亮部分,采用梯度下降的方法对该部分光照进行处理。同时为了保证整体光照梯度下降处理的合理性,使处理后的光照具有自然的外观特征,则梯度减小的倍数根据高亮程度的不同实现自适应的调整:亮度越高,减小的倍数就越大,亮度低的地方就有较小的减小倍数;对于小于等于梯度阈值$H$的部分,则保持梯度不变,用倍数表示就是1。

通过数学公式表达为,在光亮值处理的过程中,不均匀光照高亮区域的亮度值从初始值$\tilde L(x)$按照相应的减小倍数不断减小直至梯度阈值$H$,此时$Z\left( x \right)$值应平滑下降直到为1。$Z\left( x \right)$非线性函数则表达为:

$ Z(x) = \left\{ \begin{aligned} & {\varphi \cdot {{(\tilde L(x) - H)}^2} - 1,\tilde L(x) \gt H},\\ & {{1,\tilde L(x) \leqslant H}}。\end{aligned} \right. $ (17)

式中:$\varphi $是为了控制$Z\left( x \right)$下降速度而进行设置的;$H$在相对光滑的光照图L上起作用,至此多约束先验全部得到了定义。

为了能够使该方法更加具有通用性,给出参数$\varphi $和梯度阈值$H$的广义化定义。

$ \varphi = \xi \times {e^{\left( {1 - \eta } \right)}}。$ (18)

式中:$\xi $为减小倍数;$\eta $为初始光照图$\tilde L(x)$的亮度均值,这里取$\xi = 10$

初始光照图$\tilde L(x)$的深度区间可用高斯分布来表示,梯度阈值$H$的选择应为区间$\left[ {\eta - \sigma ,\eta + \sigma } \right]$的左端点。

$ H = \eta - \sigma 。$ (19)

式中:$\eta $为初始光照图$\tilde L(x)$的亮度均值;$ \sigma $为初始光照图$\tilde L(x)$的亮度标准差。

2.2.2 最优化求解

通过以上模型建立的过程,将平滑先验、结构先验、不均匀光照高亮区域先验,3种贝叶斯先验约束条件都加入到$\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|$项中。

对最优化公式求解。

$ \mathop {\arg \min }\limits_L \left[ {\left\| {\tilde L - L} \right\|_F^2 + \kappa {{\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|}_1}} \right] 。$ (20)

采用一种快速求解方法[11]。通过:

$ \mathop {\lim }\limits_{\varepsilon \to {0^ + }} \sum\limits_x {} \sum\limits_{d \in \left( {h,v} \right)} {\frac{{{W_d}\left( x \right){{\left( {{\nabla _d}L\left( x \right)} \right)}^2}}}{{\left| {{\nabla _d}\tilde L\left( x \right)} \right| + \varepsilon }}} = {\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|_1}。$ (21)

使用$\sum\limits_x {} \sum\limits_{d \in \left( {h,v} \right)} {\dfrac{{{W_d}\left( x \right){{\left( {{\nabla _d}L\left( x \right)} \right)}^2}}}{{\left| {{\nabla _d}\tilde L\left( x \right)} \right| + \varepsilon }}} $来近似估计${\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|_1}$,式(20)可化为:

$ \mathop {\min }\limits_L \sum\limits_x {{{\left( {\tilde L\left( x \right) - L\left( x \right)} \right)}^2} + \kappa } \sum\limits_{d \in \left( {h,v} \right)} {\frac{{{W_d}\left( x \right){{\left( {{\nabla _d}L\left( x \right)} \right)}^2}}}{{\left| {{\nabla _d}\tilde L\left( x \right)} \right| + \varepsilon }}}。$ (22)

该最优化公式只包含了二次项,通过将该式对$L$求导数并令导数为0,得到下式:

$ \left( {{\boldsymbol{E}} + \kappa \sum\limits_{d \in \left( {h,v} \right)} {\left( {{\boldsymbol{D}}_{\boldsymbol{d}}^{\boldsymbol{T}}Diag\left( {{{{\boldsymbol{\vec w}}}_{\boldsymbol{d}}}} \right){{\boldsymbol{D}}_{\boldsymbol{d}}}} \right)} } \right){\boldsymbol{\vec l}} = {\boldsymbol{\vec {\tilde l}}} 。$ (23)

其中:E为一个单位矩阵;${\boldsymbol{\vec w,\vec l,\vec {\tilde l}}}$为代表其方向上的向量;$Diag({{\boldsymbol{\vec w}}_{\boldsymbol{d}}})$为对角矩阵,其对角元素为${{\boldsymbol{\vec w}}_{\boldsymbol{d}}}$${{\boldsymbol{D}}_d}$${{\boldsymbol{D}}_v}$为代表离散梯度算子的前向差分矩阵。

通过计算最终的出向量${\boldsymbol{\vec l}}$,按照原始图像的大小将其进行恢复就能够得到优化后的光照图像L

2.2.3 光照图调整

由于在图像光照增强调整的过程中,有可能会出现对反射图R进行过度增强的现象,在上述操作的基础上采用伽马校正的方法[4]对得到的光照图像L进行调整,含有调整参数$\gamma '$的调整公式可写为:

$ L' = M{(\frac{L}{M})^{\frac{1}{{\gamma '}}}},$ (24)

式中,$M$$\gamma '$通常被设定为255和2.2。最终增强后的图像为:

$ U' = L'R。$ (25)

最后将增强后的图像从Lab颜色空间中转换到RGB颜色空间,得到最终的增强后深海水下清晰图像进行输出。

3 实验结果与对比分析

为了验证算法的有效性和可行性,以马里亚纳海沟万米深海图像作为实验数据,对其进行图像增强操作,利用本文算法和文献[3-5]方法,分别对图像进行增强处理。通过软件平台Matlab2018a,同时利用推荐的算法参数,对处理效果进行对比,提供了大量的实验结果,从不同的角度对该算法所增强的深海图像进行评价。随机挑选出3处深海水下图像,通过上述算法以及本文算法分别对其进行增强处理,增强结果如图4所示。

图 4 深海图像增强方法效果对比图 Fig. 4 Comparison comparison of deep sea image enhancement method
3.1 图像质量的主观评价

主观评价就通过人们对图像的视觉观察,判断出图像的优劣,从而完成对图形品质的主体评判。通过主观评价对图像的初步质量进行评价是一种常用的图像质量评价方式。这种评价方式能够让观察者从图像的最直观肉眼体验来对图像质量的好坏进行评述。

从整体上看,文献[3]方法在处理深海水下图像时或多或少都会造成红色通道补偿过度的现象,这就导致了增强后的深海图像看起来呈红色;文献[4]方法。在处理深海图像时,可以明显看到增强后的深海图像比原图像更加清晰,达到了去雾和增强的效果,但是该方法所增强的深海图像仍然存在颜色失真的现象;文献[5]方法处理后的深海图像比前2种图像的观感上更加舒服,但是由于深海图像中存在光照不均匀较严重的现象,得到的图像仍存在由于光照引起的模糊;利用本文算法所处理的深海水下图像无论是在图像颜色校正还是不均匀光照模糊的处理上,都更加有效,所得到的图像可清晰进行万米海底地貌、生物等的观测。

从细节上看,由于深海人工光源取景的原因,深海图像都呈现出了光照不均一的现象。除此之外,图像1呈现出绿色失真、雾化模糊等现象。在图像1的细节处理中,文献[3]和文献[4]方法对于海底岩石群的观测存在一定影响。文献[5]方法能够在图像增强的基础上看到岩石的大致形态,本文算法在对图像1的处理中,能够去除光照模糊的影响,清晰看到岩石的真正色彩和轮廓,岩石的形态显得更加清晰。图像2的原图呈现出蓝色失真、模糊等现象,文献[3]方法导致图像2出现严重的偏色,同时出现白化的现象。文献[4]方法虽然去除了雾化现象,但使得图像颜色失真更加严重,本文方法在对比文献[5]方法时,在图像2中间高亮区域以及岩石轮廓上更加清晰。图像3中的原图呈现出淡黄绿色,本文算法在对比文献[3]和文献[4]方法时,表现出较好的色彩校正的效果。在对比文献[5]方法时可看出,本文方法处理后的图像3中的左上区域能够清晰看到一部分透明的万米海底生物,而文献[5]方法处理的图像由于光照模糊的原因并不能够清晰的看到生物。

3.2 图像质量的客观评价

通过图像自然统计特性(Natural Image Quality Evaluator, NIQE),结构相似性(Structural Similarity Index, SSIM)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)3种常用的图像质量客观评价指标来对增强后的图像进行客观评价[14]

NIQE代表图像自然统计特性,NIQE值越大说明与自然图像差距越大,质量越差。

$ S = - \sum\limits_{i = 0}^{255} {{p_i}\log {p_i}},$ (26)
$ {N_{\left( {{v_1},{v_2},{{\sum}_1},{{\sum}_2}} \right)}} = \sqrt {{{\left( {{v_1} - {v_2}} \right)}^T}{{\left( {\frac{{{{\sum}_1} + {{\sum}_2}}}{2}} \right)}^{ - 1}}\left( {{v_1} - {v_2}} \right)}。$ (27)

式中:$S$为图像信息熵;${p_i}$为图像中灰度值为i的像素所占比例;$N$为图像的NIQE值,$ {v_1},{v_2},{\sum {} _1},{\sum {} _2} $分别是增强图像与原始图像的多元高斯分布均值和协方差。

SSIM为结构相似度,用来对2幅图像的亮度、对比度以及结构信息进行测量,其是一个0~1之间的数,最大值为1。尤其反映了图像的轮廓,细节等的相似度,适合作为图像拼接的客观评价指标。

$ {{SSIM}}\left( {x,y} \right) = \frac{{\left( {2{\mu _x}{\mu _y} + {c_1}} \right)\left( {{\sigma _{x,y}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2\sigma _y^2 + {c_2}} \right)}}。$ (28)

式中:${\mu _x}$${\mu _y}$分别为xy的均值;$\sigma _x^2$$\sigma _y^2$分别为xy方差;${\sigma _{xy}}$xy的协方差。${{SSIM}}\left( {x,y} \right)$为结构相似度,${\mathrm{SSIM}}$值越大说明2幅图像的相似度越高,即图像的失真越小,与原图越为相似。

${\mathrm{PSNR}}$代表峰值信噪比,其值越大,说明图像有更好的质量。其的表达式分別如下:

$ MSE = \frac{1}{{C \times K}}\sum\limits_{i = 1}^C {\sum\limits_{J = 1}^K {{{\left( {X\left( {i,j} \right) - Y\left( {i,j} \right)} \right)}^2}} },$ (29)
$ PSNR = 10{\log _{10}}\left( {\frac{{{{\left( {{2^n} - 1} \right)}^2}}}{{MSE}}} \right)。$ (30)

式中:MSE为当前图像$X$和参考图像$Y$的均方误差;$C$$K$分别为图像的高度和宽度;$n$为每像素的比特数,一般取8,即像素灰阶数为256。$PSNR$的单位为dB,数值越大表示失真越小。

综上所述,本文主要考虑以上3个参数,以此来判断图像质量的优劣,各项客观评价指标如表1所示。从表1可看出,在${\mathrm{PSNR}}$${\mathrm{SSIM}}$指标中,文献[5]方法和本文的方法远高于文献[3]方法和文献[4]方法所得到的结果。同时本文的算法又高于文献[5]方法的结果,本文方法处理后的深海图像具有较高的结构相似度,同时失真较小。在本文算法处理后,3幅图像的${\mathrm{NIQE}}$值分别为2.79、3.48、3.58,远低于其他3种方法处理后的图像${\mathrm{NIQE}}$值,本文算法处理后的深海图像与自然图像差距较小,具有很好的质量。这些数据指标从客观评价标准的方面证明了本文算法在处理深海水下图像增强方面的有效性。从表2的平均运行时间对比可知,文献[3]算法运行时间最短,但增强效果较差;本文算法耗时与其他2种算法相比都具有一定优势,计算复杂度也相对较小。

表 1 深海图像增强效果客观评价表 Tab.1 Objective evaluation table of the deep-sea image enhancement effect

表 2 算法平均运行时间 Tab.2 Average running time of the algorithm
4 结 语

本文提出一种基于多约束先验的贝叶斯Retinex深海载人潜水器图像增强方法,通过提取深海图像Lab颜色空间中的L分量作为初始光照图,并将结构先验、平滑先验、不均匀光照高亮区域先验结合到贝叶斯模型中,对其进行最优化估计,达到对光照图处理的效果。通过对比实验的方法,将本文算法与目前流行的几种水下图像增强方法进行对比,主观评价表明本文算法具有更好的观测效果,客观评价指标表明本文的算法在处理深海图像增强时具有较好的性能。

参考文献
[1]
GUO Y, LI H, ZHUANG P. Underwater image enhancement using a multiscale dense generative adversarial network[J]. IEEE Journal of Oceanic Engineering, 2022, 45(3): 862-870.
[2]
ZHUANG P, LI C, WU J. Bayesian retinex underwater image enhancement[J]. Engineering Applications of Artificial Intelligence, 2021, 101(1): 104171.
[3]
ZHANG W, LI G, YING Z. A New underwater image enhancing method via color correction and illumination adjustment[C]// 2017 IEEE Visual Communications and Image Processing, St Petersburg, FL, 2017.
[4]
刘卫东, 李吉玉, 张文博, 等. 基于Retinex和ADMM优化的水下光照不均匀图像增强算法[J]. 西北工业大学学报, 2021, 39(4): 824-830. DOI:10.1051/jnwpu/20213940824
[5]
FU X , FAN Z, MEI L, et al. Two-step approach for single underwater image enhancement[C]// 2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS). 2017.
[6]
王丹, 张子玉, 赵金宝, 等. 基于场景深度估计的自然光照水下图像增强方法[J]. 机器人, 2021, 43(3): 364-372.
WANG D, ZHANG Z Y, ZHAO J B, et al. An enhancement method for underwater images under natural illumination based on scene depth estimation[J]. Robot, 2021, 43(3): 364-372. DOI:10.13973/j.cnki.robot.200275
[7]
ZHUANG P, DING X. Underwater image enhancement using an edge-preserving filtering Retinex algorithm[J]. Multimedia Tools and Applications, 2020, 79(1): 1-21.
[8]
FU X, ZHUANG P, HUANG Y, et al. A retinex-based enhancing approach for single underwater image[J]. 2014 IEEE International Conference on Image Processing. 2014: 4572–4576.
[9]
TANG Zhijie, JIANG Lizhou, LUO Zhihang. A new underwater image enhancement algorithm based on adaptive feedback and Retinex algorithm[J]. Multimedia Tools and Applications, 2021.
[10]
GUO X, YU L, LING H. LIME: Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.
[11]
KONG X, LIU L, QIAN Y. Low-Light image enhancement via poisson noise aware retinex model[J]. IEEE Signal Processing Letters, 2017.
[12]
郭彩云. 光照不均匀图像的增强方法研究[D]. 北京: 华北电力大学, 2020.
[13]
王梓丞, 尹勇. 基于色彩平衡及校正的水下图像增强算法[J]. 舰船科学技术, 2021, 43(21): 154-159.
[14]
LI C, GUO J, CHEN S, et al. Underwater image restoration based on minimum information loss principle and optical properties of underwater imaging[J]. IEEE International Conference on Image Processing. (ICIP), IEEE, 2016, 993–1997.