2. 江苏海洋大学 机械工程学院,江苏 连云港 222005
2. School of Mechanical Engineering, Jiangsu Ocean University, Lianyungang 222005, China
随着工业技术的发展,机器人在水下环境中能够配合人类进行一些特殊任务,比如堤坝裂缝检测、海底管道无损检测等,这些任务通常是不适合人类工作的。视觉是人类感知世界的一大重要器官,所以目前的机器人也不外如是。但水下复杂的环境会影响摄像头的成像效果从而导致拍摄的画面不清晰。伴随着海水深度增加,太阳光中波长较长的红色光和橙色光会被水分子快速吸收,导致采集的图像大多会出现色偏比如偏蓝或者偏绿[1]等。此外,水体中的微小悬浮颗粒会散射光线,致使拍摄的图片会看起来比较模糊或出现雾化现象。因此,为了解决上述图像的缺陷,水下图像处理显得尤为重要。
传统的水下图像增强的方法包括对比度增强、伽马校正、直方图均衡[2]、滤波降低噪声等方式。Iqbal等[3]提出一种水下图像增强的无监督色彩校正方法(UCM),该方法基于颜色平衡,RGB颜色模型的对比度校正和HSI颜色模型的对比度校正,通过均衡颜色值来减少色偏,然后通过拉伸对应颜色直方图来调整颜色。2018年,Huang[4]等提出一种自适应参数采集的相对全局直方图拉伸(RGHS),该方法由对比度矫正和色彩校正2个部分组成,首先在RGB空间均衡绿色和蓝色通道,然后根据原始图像的强度分布和水下不同颜色的波长衰减相关的动态参数重新分布3个通道的直方图,最后通过拉伸Lab空间的”L”分量完成颜色校正。Wang[5]提出基于优化直方图均衡的水下图像算法。该方法在构造CDF时,引入重建参数对子直方图进行重建,达到自适应构造CDF的目的。在保留增强图像细节信息的同时抑制了过增强现象处理后的图像细节增加且颜色更加自然。
物理模型方法,基于物理模型的方法需要建立水下图像的成像模型,通过限制条件估算构建模型中参数,最后反演退化过程得到理想的水下图像。何凯明[6]提出了暗通道先验特性(DCP),最初应用在去除雾霾的场景通过估计雾霾厚度然后恢复高质量的无雾霾图像。Chao等[7]将DCP算法应用在水下图像增强这一领域,通过该方法消除浑浊水的影响,一定程度上恢复了图像原始清晰度,但会出现颜色过度矫正导致颜色失真严重。Fu等[8]提出一种基于Retinex增强的方法,通过结合使用增强的反射率和照度分量结合获得增强图像。田宁[9]提出一种弱通道耦合的颜色校正和基于Retinex模型的对比度提升方法,通过计算补偿系数对弱通道进行补偿和拉伸进行颜色校正,然后提出一个变分方程,求解得到图像的光照图,基于Retinex模型提升图像对比度。陈浩[10]等提出一种基于色彩校正与暗通道先验的水下图像增强方法,以蓝通道为基准计算通道标准比,对水下图像的红、绿通道进行补偿,丰富图像色彩。针对水下图像对比度较低的问题,利用基于超像素的暗通道先验(DCP)方法对校正后的水下图像进行增强,增强后的图像具有很好的视觉效果。
深度学习方法,Chen[11]提出一种基于GAN的恢复方案(GAN-RS),通过生成器和鉴别器的相互配合抑制噪声的生成从而提高图像的清晰度。Park[12]等提出用于水下图像增强自适应加权多鉴别器CycleGAN,该网络引入一种自适应加权方法来限制2种鉴别器的损失,以平衡他们的影响从而保持稳定训练。Zong等[13]提出一种局部循环生成对抗网络(Local-CycleGAN),该网络使用局部鉴别器和全局鉴别器组合对图像进行鉴别,结果表明在水下图像增强中效果显著。深度学习方法需要大量的数据集进行运算且可能会忽略图像中的一些细节。
为了解决上述色彩不平衡丢失细节的问题,本文提出一种基于分段自适应直方图均衡和G-MSRCR的水下图像增强算法。首先,使用白平衡算法尽可能消除水下环境引起的色偏,紧接着使用归一化的分段自适应直方图均衡化(SAHE)分别对RGB各个通道像素值进行调整,处理后图像的可视质量以及细节均有提升,然后通过增加了自适应伽马变化的MSRCR算法进行对比度提升和色彩恢复,最后通过修改的AGCNW对亮度进行自适应修改增加图像细节,细节流程图如图1。
![]() |
图 1 基于分段自适应直方图均衡和G-MSRCR的水下图像增强算法流程图 Fig. 1 Flow chart of underwater image enhancement algorithm based on segmented adaptive histogram equalization and G-MSRCR |
白平衡用于调整图像中的颜色温度,处理后的图像看起来更自然地反应现实场景的颜色。该算法旨在消除因为照明条件变化引起的色偏,确保白色物体在图像中保持白色。Limare[14]等提出现将红绿蓝3个通道的值归一化然后再重新映射到[0,255]范围。
执行白平衡的一种方式是假设白色补丁在RGB通道中的一个或多个相机传感器中引起最大响应。然后白平衡图像的RGB值由式(1计算,其中下标“max”表示原始整个图像内的最大值。在这里,利用这种简单的白平衡方法来进一步提高色彩视觉效果。由图2可知经过白平衡处理后的图像对于黄色、绿色、蓝色背景色偏严重的图像均有很好去除效果。
![]() |
图 2 白平衡处理后的水下图像对比图 Fig. 2 Comparison of underwater images after white balance processing |
Li=li/imax。 | (1) |
式中:L为新像素值;l为原像素值;i为R、G、B这3个通道;
经过白平衡算法处理过的图像如图2所示,可以看出对偏黄、偏蓝、偏绿以及模糊的图像均有很好的增强效果,处理后的图像被很大程度地消除颜色偏差,使图像看起来更自然。
1.2 分段自适应直方图均衡化(SAHE)灰度世界理论表示,一张自然的彩色图像3个通道的像素值经过归一化后的平均值应该是趋于0.5的,li等[15]提出自然图像的单通道像素值主要分布在[100,140]区间内,并且设计了分段线性函数来调整像素值(AHE)。本文在此基础上对分段线性函数进行改进,提出归一化自适应直方图变换的线性分段函数(SAHE),如下式:
˜Hc={0.4Hc¯Hc−ε,0⩽Hc⩽¯Hc−ε,Hc−¯Hc+0.47,|Hc−¯Hc|⩽ε,0.45(Hc−¯Hc)0.92−¯Hc+0.51,Hc⩾¯Hc+ε。 | (2) |
式中:
本文算法首先将单个通道的像素值缩放至[0,1]区间,然后使用分段函数对像素值进行调整。该分段函数的值域为[0,1]且单个函数的值域无交叉,修改后的分段函数可以减少因为像素值重叠从而降低增强效果的情况。函数改进前后增强图像对比图如图3所示,据对比图可看出原AHE算法的处理图像会出现光晕,该现象会影响后续图像增强效果。
![]() |
图 3 SAHE与AHE增强图像对比图 Fig. 3 Comparison of SAHE and AHE enhanced images |
经过上述步骤处理后的图片仍然存在亮度偏低,色彩丢失的现象。为此引入了MSRCR[16](Multi-Scale Retinex with Color Restoration)算法进行色彩和对比度的增强。MSRCR算法旨在改善图像的亮度、对比度和颜色平衡,特别是在低光照条件下或存在光照不均匀的情况下,因此非常适合应用在水下图像增强过程中。MSRCR算法的核心思想是通过多尺度的Retinex理论来模拟图像的分解和重构过程,然后进行颜色恢复,以获得自然的图像增强效果。Retinex理论认为图像的亮度分量和反射分量在观察中独立,这有助于分离图像中的光照和反射成分。MSRCR算法公式如下:
{RMSRCRi(x,y)=Ci(x,y)RMSRi(x,y),Ci(x,y)=β{lg[α⋅Ii(x.y)]−lg[N∑i=1Ii(x,y)]},RMSR(x,y)=ns∑n=1λn{lgI(x,y)−lg[I(x,y)⋅Gn(x,y)]}。 | (3) |
式中:
将SAHE处理后的图像直接使用MSRCR处理图像会出现整体亮度偏低,暗部偏多的现象,因此本文在MSRCR的基础上增加了简单的伽马校正进行对比度增强(G-MSRCR),在伽马取0.5时处理后的图像最为均衡,光影细节更加分明。由图4可知G-MSRCR算法增强的图像亮度合适,色彩明显。
![]() |
图 4 MSRCR与G-MSRCR增强效果对比图 Fig. 4 Comparison of MSRCR and G-MSRCR enhancements |
Transform-based gamma correction (TGC)为一种用于图像处理和显示的技术,它可以改变图像的亮度和对比度。TGC使用一个非线性变换函数,通常是幂函数,以调整图像的亮度。TGC的简单形式如下:
T(l)=lmax(l/lmax)γ。 | (4) |
式中:l为每个像素的强度;
当通过伽马校正直接修改对比度时,由于固定的参数,不同的图像会表现出相同的强度变化。对此我们引入概率密度函数(Probability Density Function,PDF),该函数用于描述连续随机变量的概率分布,表示在随机变量可能取得的各个值范围内,随机变量取某个特定值的概率密度。公式如下:
pdf(l)=nlMN, | (5) |
cdf(l)=∑lk=0pdf(k)。 | (6) |
其中:
Huang[17]提出一种混合HM的方法,将TGC和THE方法有效的结合起来,采用补偿的cdf作为自适应参数,本文将上文所采用的线性自适应伽马校正改成式(7)中所示函数,这样可以使图像直方图进行转换时更流畅,处理效果如图5所示,AGCNW处理的图像对比度合适,细节更加清晰可见,对于能见度较差的水下图像尤其有用,特别适合对水下低照度图像进行增强。
![]() |
图 5 AGCNW增强效果图 Fig. 5 AGCNW enhancement rendering |
T(l)=lmax(l/lmax)γ=lmax(l/lmax)0.5sin(π(cdf(l)+0.5))+0.5。 | (7) |
为验证本文算法对于水下图像的实际处理效果,本文算法与文献[18](L2UWE)、文献[19](S)、文献[20](ACDC)、文献[21](Ancuti)、文献[22](TEBCF)分别对UIEB数据集中的图片进行处理,选取一些有代表性的图片组成图6进行主观评估。实验平台设置为CPU八核3.6 Hz、内存16 GB、软件为Matlab R2022a,Windows 11操作系统。
![]() |
图 6 多算法对比实验效果图 Fig. 6 Comparison of multiple algorithms and experimental renderings |
由图6可知:白平衡可以很好消除蓝色、黄色、绿色等色偏但是图像整体亮度偏低缺少细节,L2UWE[18]对于低亮度的图像具有很好的处理效果但没有解决色偏的问题,S[19]对于蓝色色偏具有很好地消除效果但对于其他颜色色偏处理效果偏差,ACDC[20]可以很好地消除各种颜色的色偏,但处理后的图像均偏灰、色彩丢失严重不能很好的还原物体原本的色彩,Ancuti[21]处理后的图像色彩还原真实基本不存在色偏现象,但是明暗对比不明显导致一些细节丢失,TEBCF[22]处理的图像会出现边缘模糊从而对成像质量造成影响降低图像观感。本文算法的处理结果在消除色偏的同时恢复色彩,提升对比度使图片展现出更多的细节信息。
为了进一步证明本文算法的有效性,选取了一些评估指标对增强算法进行客观评价。选取的评价指标有全局图像质量评价指标∶水下图像彩色质量指标(UCIQE)、水下图像质量评价指标(UIQM)、信息熵(IE)和局部图像质量评价指标:对比度和局部批次对比度(PCQI),上述评价指标值越大表示图像质量越高。处理60张图像的加权平均数据组成表1。
![]() |
表 1 多算法对比实验平均评估结果 Tab.1 Multiple algorithms compare the average evaluation results of experiments |
由表1可知,本文的算法在UCIQE、IE、PCQI这4种评分中均为最优,在UIQM评分中评分第二且与评分第一的UICCR算法相差不大。由此可以看出本文的算法在对于水下底照度存在色偏的图像具有很好的增强恢复效果,增强后的图片质量较高。表2的数据表示SAHE算法在进一步消除色偏的同时没有降低图像质量,采用G-MSRCR算法后各项评估指标提升明显,最后采用的AGCNW算法后UCIQE指标提升明显。
![]() |
表 2 本文算法消融实验评估结果 Tab.2 Evaluation results of the algorithm ablation experiment in this paper |
本文针对水下采集的图像对比度不高且存在色偏的现象提出了基于自适应直方图拉伸和改进MSRCR的水下图像增强算法。首先使用白平衡算法对色偏严重图像进行初步处理减少色偏,紧接着使用SAHE对图像像素进行拉伸进一步减少色偏消除光晕,然后使用修改后的G-MSRCR对图像进行色彩增强,最后使用AGCNW对图像对比度进行进一步增强丰富图像细节。通过上述处理使水下图像在消除色偏的同时提升图像的对比度从而提升图像质量。
[1] |
李鑫杰. 水下图像清晰化增强研究[D]. 青岛:青岛大学, 2022: 6–8.
|
[2] |
ZUIDERVELD K. Contrast limited adaptive histogram equalization [C]//. Graphics Gems IV. Academic Press Professional, 1990: 474–485.
|
[3] |
IQBAL K, ODETAYO M, JAMES A, et al. Enhancing the low qualityimages using unsupervised colour correction method[C]//Pro-ceedings of 2010 IEEE International Conference on Systems Manand Cybernetics. Istanbul, Turkey: IEEE, 2010: 1703–1709.
|
[4] |
HUANG Dongmei, WANG Yan, SONG Wei. Shallow-water image en-hancement using relative global histogram stretching based on a-daptive parameter acquisition [C]//. International Conference onMultimedia Modeling, Springer, Cham, 2018.
|
[5] |
王潇, 于炯, 杨嘉能, 等. 优化动态直方图均衡的水下图像增强方法[J]. 计算机仿真, 2022, 39(10): 259-264+439. |
[6] |
HE K M, SUN J, TANG X O. Single image haze removal usingdark channel prior[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence, 2011, 33(12): 2341-2353. DOI:10.1109/TPAMI.2010.168 |
[7] |
CHAO L, WANG M. Removal of water scattering[C]//Proceedingsof the 2nd International Conference on Computer Engineering and Technology. Chengdu, China: 2010, (2): 35−39.
|
[8] |
FUXY, ZHUANGPX, HUANG Y, etal. A Ret-inex-based enhancing approach for single underwater image[C] //2014 IEEE International Conferenceon Image Processing(ICIP). New York: IEEE, 2014: 4572−4576.
|
[9] |
田宁, 程莉, 元海文, 等. 基于Retinex模型的水下图像增强方法[J]. 中国科技论文, 2022, 17(11): 1281-1288. DOI:10.3969/j.issn.2095-2783.2022.11.016 |
[10] |
陈浩, 刘宇涵, 冯兴华, 等. 基于色彩校正与暗通道先验算法的水下图像增强方法[J]. 西南科技大学学报, 2021, 36(3): 66-71. DOI:10.3969/j.issn.1671-8755.2021.03.011 |
[11] |
CHEN X Y, YU J Z, KONGSH, et al. Towardsreal-time advancement of underwater visualquality with GAN[J]. IEEE Transactions on Industrial E lectronics, 2019, 66(12): 9350-9359. DOI:10.1109/TIE.2019.2893840 |
[12] |
Park J, Han DK, Ko H. Adaptive Weighted Multi-Discriminator CycleGAN for Underwater Image Enhancement. Journal of Marine Science and Engineering. 2019; 7(7): 200. https://doi.org/10.3390/jmse7070200. Park J, Han DK, Ko H. Adaptive Weighted Multi-Discriminator CycleGAN for Underwater Image Enhancement. Journal of Marine Science and Engineering. 2019; 7(7): 200. https://doi.org/10.3390/jmse7070200. |
[13] |
ZONG X, CHEN Z, WANG D. 2020_Local-CycleGAN: a general end-to-end network for visual enhancement in complex deep-water environment[J/OL]. Applied Intelligence, 2021: 1947–1958.
|
[14] |
LIMARE, NICOLAS, et al. "Simplest Color Balance. " Image Processing On Line, Oct. 2011, pp. 297–315. https://doi.org/10.5201/ipol. 2011. llmps-scb. Limare, Nicolas, et al. "Simplest Color Balance." Image Processing On Line, Oct. 2011, pp. 297–315.https: //doi.org/10.5201/ipol.2011.llmps-scb.
|
[15] |
LI C, TANG S, KWAN, H K , et al. Color Correction Based on CFA and Enhancement Based on Retinex With Dense Pixels for Underwater Images[J]. IEEE Access, 155732–155741.
|
[16] |
JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J/OL]. IEEE Transactions on Image Processing, 1997: 965–976.
|
[17] |
HUANG, SHIH-Chia, et al. Efficient contrast enhancement using adaptive gamma correction with weighting distribution[C]//. IEEE Transactions on Image Processing, 2013; 1032–1073.
|
[18] |
MARQUES T, ALBU A. L^2UWE: A framework for the efficient enhancement of low-light underwater images using local contrast and multi-scale fusion[J]. Cornell University - arXiv, Cornell University - arXiv, 2020.
|
[19] |
KALYANA S R S, Damodaran N. Multiscale decomposition and fusion-based color contrast restoration for various water-colored environments[J]. Color ResAppl. 2021:1–28.
|
[20] |
ZHANG W, WANG Y, LI C, et al. Underwater image enhancement by attenuated color channel correction and detail preserved contrast enhancement[C]//IEEE Journal of Oceanic Engineering, 47, 718−735.
|
[21] |
ANCUTI C O, ANCUTI C, DE VLEESCHOUWER C, et al. Color balance and fusion for underwater image enhancement[J/OL]. IEEE Transactions on Image Processing, 2018: 379–393.
|
[22] |
YUAN J, CAI Z, CAO W. TEBCF: real-world underwater image texture enhancement model based on blurriness and color fusion[J/OL]. IEEE Transactions on Geoscience and Remote Sensing, 2022: 1–15.
|