2. 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁 沈阳 110016;
3. 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110169;
4. 辽宁省水下机器人重点实验室,辽宁 沈阳 110169
2. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China;
3. Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110169, China;
4. Key Laboratory of Marine Robotics, Liaoning Province, Shenyang 110169, China
载人潜水器在深海执行科研任务时,依靠人造光源进行照明,由于光吸收和深海人造光成像的缘故,造成深海图像存在蓝绿偏色、光照不均一、雾化严重等图像失真现象,这对于深海资源勘测以及深海图像资料实际使用带来了不便。同时图像降质问题对于基于图像的AUV与深海载人潜水器精准对接技术也形成了障碍。鉴于以上问题,对于深海载人潜水器图像增强技术的研究就显得尤为重要。
针对水下图像颜色失真、细节丢失等图像降质现象,受生成对抗网络(GAN)的启发,Guo等[1]提出一种用于水下图像增强的多尺度密集GAN,通过引入多尺度、密集级联和残差学习策略来提高水下图像增强的性能。Zhuang等[2]提出一种贝叶斯retinex算法,用于增强具有多阶反射和光照梯度先验信息的单个水下图像。但受限于水下环境复杂及水对光的散射和吸收效应,上述算法无法处理水下图像的光照不均匀现象。Zhang等[3]在水下图像的RGB空间中,分别对3个颜色通道的特征值均值和方差进行计算,并对光照图进行调整,达到恢复水下图像自然色彩的同时增强图像对比度的效果(VCIP)。针对水下光照不均匀及光照较弱引起的成像模糊及失真问题,刘卫东等[4]提出一种基于Retinex和ADMM优化的水下图像增强方法,达到了抑制光照影响的结果。针对具有光照不均匀特征的水下图像的特性,Fu等[5]根据Retinex理论提出一种用于分解单幅水下图像的反射分量和光照分量的变分框架来增强水下图像,该算法增强效果较好,但较为复杂。但上述几种算法对于深海人造点光源的聚射效应所造成的深海光照不均匀部分的增强效果并不明显,常会造成图像细节的丢失。
本文针对深海载人潜水器人造点光源的聚射效应而引起的颜色失真、模糊以及光照不均匀等图像降质问题,提出一种基于平滑先验、结构先验与不均匀光照高亮区域先验相结合的贝叶斯Retinex深海载人潜水器图像增强方法。该方法的提出可为深海载人潜水器图像增强系统的研究提供依据。
1 深海水下人造光成像模型分析图1和图2分别为2种不同类型的水下图像(本文把区别于深海图像的其他水下图像统称为普通水下图像),普通水下图像来源于网络,深海图像来源于中国科学院沈阳自动化研究所保存的“奋斗者”号载人潜水器在马里亚纳海沟作业时,带回的图像资料。从直观对比中可清楚看到,深海水下图像与普通水下图像存在一定差异,最主要的差异是深海水下图像呈现出亮斑,存在光吸收、散射模糊和光照不均一的交叉影响而导致的图像降质问题。所以普通的光照均匀的水下成像模型并不能适用于深海水下成像分析以及模型建立当中。
![]() |
图 1 普通水下图像 Fig. 1 Ordinary underwater image |
![]() |
图 2 马里亚纳海沟深海水下图像 Fig. 2 Deep-sea underwater image of the Mariana Trench |
本文依据深海实际人造光源取景的现象,提出深海水下人造光成像模型,如图3(a)所示。深海水下图像会由于水中粒子(包括微型浮游植物、彩色溶解有机物和非藻类粒子)的光吸收和散射的不利影响而退化。不同波长的光在水中以不同的速率衰减,具体如图3(b)所示。人造光在深海照射的过程中,红光首先在5 m深处因其最长波长或最小能量而消失,然后棕色和黄色光分别在10 m和20 m深处消失,而绿光和蓝光由于波长较短或能量较大,最终分别在30 m和60 m深处消失[6]。
![]() |
图 3 深海水下人造光成像模型及光吸收图 Fig. 3 Deep-sea underwater artificial light imaging model and light absorption map |
结合图2和图3可看出,水下图像平面上的总辐照度在水下介质中有3个主要组成部分:直接分量、前向散射和后向散射[7]。简化的水下光学模型可表示为:
I(x)=A(x)e−ηd(x)+B∞(x)(1−e−ηd(x))。 | (1) |
式中:
从分析可知,深海水下图像成像条件中直射光部分和散射光部分分别由光照均匀的部分和光照不均匀的部分两部分组成,
假设光照不均一的那部分光照为
Is(x)=(JD(x)+JV(x))e−ηd(x)+(BD(x)+BV(x))(1−e−ηd(x))。 | (2) |
增强后的深海图像可表达为:
JD(x)=Is(x)−W(x)(1−T(x))T(x)−JV(x)。 | (3) |
式中:
根据深海图像成像模型分析可知,深海水下图像恢复的主要问题在于对光照分量的恢复,这其中包括散射光成分
为了排除深海图像颜色的干扰,首先实现对深海图像颜色的恢复,然后通过Retinex理论和贝叶斯估计的方法实现对深海图像光照图最优化的估计,达到深海图像增强的效果。
2 深海水下图像增强方法研究 2.1 颜色校正在深海中,由人工照明提供光源所采集的图像同样遵循光吸收的原则,红色光波最先消失,蓝色和绿色光波最后消失,所以采集到的深海水下图像多呈现处蓝色或者绿色。为了能够恢复水下图像的色彩,在本次系统设计中,对于原始的深海水下RGB图像采用一种基于统计的简单有效水下图像颜色恢复方法[6, 9]。将原始图像看作
步骤1 在RGB原始深海图像中,分别计算图像
步骤2 利用公式分别计算处RGB三通道中每个通道的最小值和最大值:
Ucmax=Ucmean+μUcvar,c∈(R,G,B), | (4) |
Ucmin=Ucmean−μUcvar,c∈(R,G,B)。 | (5) |
步骤3 通过公式得到颜色校正后的图像。
UcCR=255×Uc−UcminUcmax−Ucmin,c∈(R,G,B)。 | (6) |
式中:
Retinex理论[2,9]表明,人类视觉系统可自适应处理不同亮度和颜色的照明,基于Retinex的方法可用来解决曝光不足和模糊的问题。根据Retinex理论,经过颜色校正后的图像
UcCR=Lc⋅Rc,c∈(R,G,B)。 | (7) |
式中,
Uenhanced=F1(L)⋅F2(R)。 | (8) |
式中,
文献[10-11]提出了通过平滑先验和结构先验的方法对光照图像进行估计,然后将先验条件化为正则项,直接得出了最优化的方程。深海水下图像由于人造光照射取景而形成亮斑,亮斑聚集点本文称之为不均匀光照高亮区域,传统的结构平滑先验并不能很好地对深海图像的光照图进行优化处理,因此本文提出平滑先验、结构先验和不均匀光照高亮区域先验相结合的先验条件来处理深海光照图增强问题。同时本文结合贝叶斯模型[2-12]来描述以上Retinex理论中图像分解的过程,
p(L,R,Q|UCR)∝p(UCR|L,R,Q)⋅p(L)⋅p(R)⋅p(Q)。 | (9) |
已知
argmaxL,R,Q[p(U|L,R,Q)⋅p(L)⋅p(R)⋅p(Q)]。 | (10) |
由Retinex理论公式[9]可知:
R=U/L。 | (11) |
可推断出,反射图R可以由光照图L决定,为简化计算过程,降低模型的复杂度,先验贝叶斯模型可简化为:
argmaxL[p(L|U)]=argmaxL[p(U|L)⋅p(L)]。 | (12) |
由式(12)可看出,光照图L先验在深海水下图像增强的过程中起主要作用,所以深海图像增强主要就是对光照图L进行最优化求解,文献[4]提出一种简化的求解光照图L的方法,以此来重新定义先验
argminL[‖˜L−L‖2F+κ‖W⋅∇L‖1]。 | (13) |
式中:
W=1|∇˜L|+ε。 | (14) |
为了能够让模型中的3种先验条件(平滑先验、结构先验、不均匀光照高亮区域先验)在深海图像光照图最优化估计中共同达到先验约束的作用,在模型设计的过程中将三者结合到式(13)中的
为了保证3种先验条件结合的有效性和合理性,采用一种自适应地调整梯度的方法,并将此思想应用到权值矩阵
W=1|∇G|+ε, | (15) |
∇G=Z(x)⋅∇˜L。 | (16) |
式中,
将深海图像从RGB颜色空间转换到Lab颜色空间[5],在Lab颜色空间中,L通道表示整个图像的亮度值,不受a通道和b通道的影响,可用来作为初始光亮值
在非线性光滑函数
因此使用梯度阈值
通过数学公式表达为,在光亮值处理的过程中,不均匀光照高亮区域的亮度值从初始值
Z(x)={φ⋅(˜L(x)−H)2−1,˜L(x)>H,1,˜L(x)⩽ | (17) |
式中:
为了能够使该方法更加具有通用性,给出参数
\varphi = \xi \times {e^{\left( {1 - \eta } \right)}}。 | (18) |
式中:
初始光照图
H = \eta - \sigma 。 | (19) |
式中:
通过以上模型建立的过程,将平滑先验、结构先验、不均匀光照高亮区域先验,3种贝叶斯先验约束条件都加入到
对最优化公式求解。
\mathop {\arg \min }\limits_L \left[ {\left\| {\tilde L - L} \right\|_F^2 + \kappa {{\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|}_1}} \right] 。 | (20) |
采用一种快速求解方法[11]。通过:
\mathop {\lim }\limits_{\varepsilon \to {0^ + }} \sum\limits_x {} \sum\limits_{d \in \left( {h,v} \right)} {\frac{{{W_d}\left( x \right){{\left( {{\nabla _d}L\left( x \right)} \right)}^2}}}{{\left| {{\nabla _d}\tilde L\left( x \right)} \right| + \varepsilon }}} = {\left\| {{\boldsymbol{W}} \cdot \nabla L} \right\|_1}。 | (21) |
使用
\mathop {\min }\limits_L \sum\limits_x {{{\left( {\tilde L\left( x \right) - L\left( x \right)} \right)}^2} + \kappa } \sum\limits_{d \in \left( {h,v} \right)} {\frac{{{W_d}\left( x \right){{\left( {{\nabla _d}L\left( x \right)} \right)}^2}}}{{\left| {{\nabla _d}\tilde L\left( x \right)} \right| + \varepsilon }}}。 | (22) |
该最优化公式只包含了二次项,通过将该式对
\left( {{\boldsymbol{E}} + \kappa \sum\limits_{d \in \left( {h,v} \right)} {\left( {{\boldsymbol{D}}_{\boldsymbol{d}}^{\boldsymbol{T}}Diag\left( {{{{\boldsymbol{\vec w}}}_{\boldsymbol{d}}}} \right){{\boldsymbol{D}}_{\boldsymbol{d}}}} \right)} } \right){\boldsymbol{\vec l}} = {\boldsymbol{\vec {\tilde l}}} 。 | (23) |
其中:E为一个单位矩阵;
通过计算最终的出向量
由于在图像光照增强调整的过程中,有可能会出现对反射图R进行过度增强的现象,在上述操作的基础上采用伽马校正的方法[4]对得到的光照图像L进行调整,含有调整参数
L' = M{(\frac{L}{M})^{\frac{1}{{\gamma '}}}}, | (24) |
式中,
U' = L'R。 | (25) |
最后将增强后的图像从Lab颜色空间中转换到RGB颜色空间,得到最终的增强后深海水下清晰图像进行输出。
3 实验结果与对比分析为了验证算法的有效性和可行性,以马里亚纳海沟万米深海图像作为实验数据,对其进行图像增强操作,利用本文算法和文献[3-5]方法,分别对图像进行增强处理。通过软件平台Matlab2018a,同时利用推荐的算法参数,对处理效果进行对比,提供了大量的实验结果,从不同的角度对该算法所增强的深海图像进行评价。随机挑选出3处深海水下图像,通过上述算法以及本文算法分别对其进行增强处理,增强结果如图4所示。
![]() |
图 4 深海图像增强方法效果对比图 Fig. 4 Comparison comparison of deep sea image enhancement method |
主观评价就通过人们对图像的视觉观察,判断出图像的优劣,从而完成对图形品质的主体评判。通过主观评价对图像的初步质量进行评价是一种常用的图像质量评价方式。这种评价方式能够让观察者从图像的最直观肉眼体验来对图像质量的好坏进行评述。
从整体上看,文献[3]方法在处理深海水下图像时或多或少都会造成红色通道补偿过度的现象,这就导致了增强后的深海图像看起来呈红色;文献[4]方法。在处理深海图像时,可以明显看到增强后的深海图像比原图像更加清晰,达到了去雾和增强的效果,但是该方法所增强的深海图像仍然存在颜色失真的现象;文献[5]方法处理后的深海图像比前2种图像的观感上更加舒服,但是由于深海图像中存在光照不均匀较严重的现象,得到的图像仍存在由于光照引起的模糊;利用本文算法所处理的深海水下图像无论是在图像颜色校正还是不均匀光照模糊的处理上,都更加有效,所得到的图像可清晰进行万米海底地貌、生物等的观测。
从细节上看,由于深海人工光源取景的原因,深海图像都呈现出了光照不均一的现象。除此之外,图像1呈现出绿色失真、雾化模糊等现象。在图像1的细节处理中,文献[3]和文献[4]方法对于海底岩石群的观测存在一定影响。文献[5]方法能够在图像增强的基础上看到岩石的大致形态,本文算法在对图像1的处理中,能够去除光照模糊的影响,清晰看到岩石的真正色彩和轮廓,岩石的形态显得更加清晰。图像2的原图呈现出蓝色失真、模糊等现象,文献[3]方法导致图像2出现严重的偏色,同时出现白化的现象。文献[4]方法虽然去除了雾化现象,但使得图像颜色失真更加严重,本文方法在对比文献[5]方法时,在图像2中间高亮区域以及岩石轮廓上更加清晰。图像3中的原图呈现出淡黄绿色,本文算法在对比文献[3]和文献[4]方法时,表现出较好的色彩校正的效果。在对比文献[5]方法时可看出,本文方法处理后的图像3中的左上区域能够清晰看到一部分透明的万米海底生物,而文献[5]方法处理的图像由于光照模糊的原因并不能够清晰的看到生物。
3.2 图像质量的客观评价通过图像自然统计特性(Natural Image Quality Evaluator, NIQE),结构相似性(Structural Similarity Index, SSIM)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)3种常用的图像质量客观评价指标来对增强后的图像进行客观评价[14]。
NIQE代表图像自然统计特性,NIQE值越大说明与自然图像差距越大,质量越差。
S = - \sum\limits_{i = 0}^{255} {{p_i}\log {p_i}}, | (26) |
{N_{\left( {{v_1},{v_2},{{\sum}_1},{{\sum}_2}} \right)}} = \sqrt {{{\left( {{v_1} - {v_2}} \right)}^T}{{\left( {\frac{{{{\sum}_1} + {{\sum}_2}}}{2}} \right)}^{ - 1}}\left( {{v_1} - {v_2}} \right)}。 | (27) |
式中:
SSIM为结构相似度,用来对2幅图像的亮度、对比度以及结构信息进行测量,其是一个0~1之间的数,最大值为1。尤其反映了图像的轮廓,细节等的相似度,适合作为图像拼接的客观评价指标。
{{SSIM}}\left( {x,y} \right) = \frac{{\left( {2{\mu _x}{\mu _y} + {c_1}} \right)\left( {{\sigma _{x,y}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2\sigma _y^2 + {c_2}} \right)}}。 | (28) |
式中:
MSE = \frac{1}{{C \times K}}\sum\limits_{i = 1}^C {\sum\limits_{J = 1}^K {{{\left( {X\left( {i,j} \right) - Y\left( {i,j} \right)} \right)}^2}} }, | (29) |
PSNR = 10{\log _{10}}\left( {\frac{{{{\left( {{2^n} - 1} \right)}^2}}}{{MSE}}} \right)。 | (30) |
式中:MSE为当前图像
综上所述,本文主要考虑以上3个参数,以此来判断图像质量的优劣,各项客观评价指标如表1所示。从表1可看出,在
![]() |
表 1 深海图像增强效果客观评价表 Tab.1 Objective evaluation table of the deep-sea image enhancement effect |
![]() |
表 2 算法平均运行时间 Tab.2 Average running time of the algorithm |
本文提出一种基于多约束先验的贝叶斯Retinex深海载人潜水器图像增强方法,通过提取深海图像Lab颜色空间中的L分量作为初始光照图,并将结构先验、平滑先验、不均匀光照高亮区域先验结合到贝叶斯模型中,对其进行最优化估计,达到对光照图处理的效果。通过对比实验的方法,将本文算法与目前流行的几种水下图像增强方法进行对比,主观评价表明本文算法具有更好的观测效果,客观评价指标表明本文的算法在处理深海图像增强时具有较好的性能。
[1] |
GUO Y, LI H, ZHUANG P. Underwater image enhancement using a multiscale dense generative adversarial network[J]. IEEE Journal of Oceanic Engineering, 2022, 45(3): 862-870. |
[2] |
ZHUANG P, LI C, WU J. Bayesian retinex underwater image enhancement[J]. Engineering Applications of Artificial Intelligence, 2021, 101(1): 104171. |
[3] |
ZHANG W, LI G, YING Z. A New underwater image enhancing method via color correction and illumination adjustment[C]// 2017 IEEE Visual Communications and Image Processing, St Petersburg, FL, 2017.
|
[4] |
刘卫东, 李吉玉, 张文博, 等. 基于Retinex和ADMM优化的水下光照不均匀图像增强算法[J]. 西北工业大学学报, 2021, 39(4): 824-830. DOI:10.1051/jnwpu/20213940824 |
[5] |
FU X , FAN Z, MEI L, et al. Two-step approach for single underwater image enhancement[C]// 2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS). 2017.
|
[6] |
王丹, 张子玉, 赵金宝, 等. 基于场景深度估计的自然光照水下图像增强方法[J]. 机器人, 2021, 43(3): 364-372. WANG D, ZHANG Z Y, ZHAO J B, et al. An enhancement method for underwater images under natural illumination based on scene depth estimation[J]. Robot, 2021, 43(3): 364-372. DOI:10.13973/j.cnki.robot.200275 |
[7] |
ZHUANG P, DING X. Underwater image enhancement using an edge-preserving filtering Retinex algorithm[J]. Multimedia Tools and Applications, 2020, 79(1): 1-21. |
[8] |
FU X, ZHUANG P, HUANG Y, et al. A retinex-based enhancing approach for single underwater image[J]. 2014 IEEE International Conference on Image Processing. 2014: 4572–4576.
|
[9] |
TANG Zhijie, JIANG Lizhou, LUO Zhihang. A new underwater image enhancement algorithm based on adaptive feedback and Retinex algorithm[J]. Multimedia Tools and Applications, 2021.
|
[10] |
GUO X, YU L, LING H. LIME: Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993. |
[11] |
KONG X, LIU L, QIAN Y. Low-Light image enhancement via poisson noise aware retinex model[J]. IEEE Signal Processing Letters, 2017. |
[12] |
郭彩云. 光照不均匀图像的增强方法研究[D]. 北京: 华北电力大学, 2020.
|
[13] |
王梓丞, 尹勇. 基于色彩平衡及校正的水下图像增强算法[J]. 舰船科学技术, 2021, 43(21): 154-159. |
[14] |
LI C, GUO J, CHEN S, et al. Underwater image restoration based on minimum information loss principle and optical properties of underwater imaging[J]. IEEE International Conference on Image Processing. (ICIP), IEEE, 2016, 993–1997.
|