0 引　言

在人类不断对海洋资源进行探索和开发中，水下图像作为水下信息获取的最有效途径，近年来一直成为人们关注的热点之一。由于清晰的水下图像和视频在各种水下作业中起着重要作用，包括海洋生物学研究、海洋考古学和水下目标检测等。然而，由于光在水下的特定衰减和散射，通过相机传感器的水下图像容易发生退化，通常情况下，光在水下的衰减会导致水下图像发生颜色偏移，而水中悬浮物的各种散射光会使水下图像变得模糊并且对比度降低。水下图像质量的退化会严重影响人眼视觉感知效果以及进一步的科学研究，因此，水下图像增强具有极高的研究价值。

1 相关工作

近年来，国内外有大量学者对水下图像增强进行了相关研究，并提出了一系列的方法理论。目前，对于水下图像增强的主要方法分为基于物理模型的方法、基于非物理模型的方法和基于深度学习的方法。例如，Li等^[1]提出了一种基于灰度世界理论的颜色校正算法，该算法主要通过蓝绿通道去雾和红通道色彩补偿，然后用自适应曝光图来平衡校正之后图像的整体颜色，但是对于细节恢复不明显。Mishra等^[2]对限制对比度自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）进行改进并应用与水下图像增强，提升了水下图像的对比度，但无法解决色偏问题。He等^[3]提出一种暗通道先验算法(Dark Channel Prior，DCP)，该算法最初主要用于陆地上图像的去雾，但由于水下图像的退化模糊与陆地上拍摄的有雾图像具有一定的相似性因而将该算法借用到水下图像处理，但在水中由于水对光有选择性的吸收，无法解决水下图像的色偏问题，具有一定局限性。Rrews等^[4]建立在DCP的基础上，依据水下光学传播的特性，并假设水下视觉信息的主要来源在于蓝色和绿色通道，提出了一种水下暗通道先验算法（Underwater Dark Channel Prior，UDCP），该算法能够解决水下杂志引起的散光问题，但是对于图像边缘区域处理不够好，容易产生伪影。Ancuti等^[5]提出一种基于颜色补偿与白平衡的多尺度融合方法，该方法基于灰色世界假设估计和补偿光源色偏，并利用白平衡水下图与权重图进行多尺度融合，能够有效提高图像全局对比度与边缘清晰度，但色彩补偿使图像整体偏暗，忽视了图像的背景区域，导致图像欠缺真实度。Fu等^[6]提出了一种基于Retinex的水下单幅图像增强方法。该方法首先采用快速有效的策略解决偏色问题，使暗区变亮，增强图像的边缘和细节，但迭代优化和多步转换影响了算法的实时性。

而基于深度学习的方法主要依赖于丰富的训练数据和强大的监督学习模型以此来增强图像的视觉效果^{[7 − 12]}。目前，基于生成对抗网络(Generate Adversarial Networks,G-AN)的优势，已经提出了各种基于深度学习的方法，例如WaterCycleGAN^[8]，WaterGAN^[9]，UGAN^[10]和DenseGAN^[11]。基于深度学习的水下图像增强方法取得了很好的效果，但这种方法依赖于丰富的训练数据集。人工合成的水下图像与真实的水下图像之间还存在一定差距，不同水体类型下的水下图像获取比较困难。同时，深度学习方法在不同场景下的泛化能力较差，部分增强不足或过度增强场景的增强效果较差。

基于以上针对水下图像处理边缘细节不够好、对比度差和色偏严重等问题，本文提出一种融合多尺度的颜色衰减补偿算法，将图像分离为强、中、弱3个通道，依据衰减程度不同的现状依次进行补偿，可以有效校正色偏并防止过度补偿；其次利用改进的多尺度Retinex算法增加图像的对比度，在求取图像的光照分量中利用引导滤波替换高斯滤波，可以快速并有效保持边缘细节，然后利用自适应伽马函数有效校正光照不均匀的区域。整体算法流程图如图1所示。

2 理论基础 2.1 多尺度颜色通道补偿

在水下拍摄照片时，由于光在水下传播会发生一定程度衰减的特性，所拍摄的照片会发生不同程度的颜色失真。在浅水区域，红色光衰减的最快，绿色光衰减程度最弱，因此浅水区域的水下图像通常呈现泛绿色，而在深水区域中蓝光衰减最弱，因此深水区中图像通常呈现泛蓝色。对于一张水下图像，首先分别计算出它的R、G、B这3个通道像素的总值，像素总值最大的通道定义为强通道P，像素总值位于中间的通道定义为中通道M，像素值最小的通道则定义为低通道S^[13]。对于强通道P，本文使用传统的线性拉伸算法来拉伸强通道，其拉伸过程可表示为：

$ {P}_{E}(x,y)=\frac{P(x,y)-{P}_{\text{min}}}{{P}_{\text{max}}-{P}_{\text{min}}}\times 255。$

(1)

式中：$ {P}_{E}(x,y) $为颜色补偿后的强通道像素值；$ P(x,y) $为拉伸前的通道；$ {P}_{\text{min}} $为强通道中像素的最小值；$ {P}_{\text{max}} $为强通道中像素的最大值。由于中通道M相对于强通道P而言，衰减幅度较小。对于M，本文采用UWB方法^[5]对其进行补偿，表示式为：

$ \begin{gathered} {M}_{E}(x,y)= \, M(x,y)+\left({P}_{\text{ave}}\right(x,y)-{M}_{\text{ave}}(x,y\left)\right)\times\\ (1-M(x,y\left)\right)\times P(x,y)。\end{gathered} $

(2)

式中：$ {M}_{E}(x,y) $为颜色补偿后中通道像素值；$ M(x,y) $为颜色补偿前通道像素值；$ {P}_{\text{ave}}(x,y) $为强通道像素值的平均值；$ {M}_{\text{ave}}(x,y) $为中通道像素值的平均值。弱通道S为衰减最为严重的通道，因此需要进一步补偿，在中通道补偿公式中引入标准差^[14]的概念，补偿过程为：

$ \begin{gathered} {S}_{E}(x,y)=\, S(x,y)+\frac{{\sigma }_{P}}{{\sigma }_{S}}\left({P}_{ave}\right(x,y)-{S}_{ave}(x,y\left)\right)\times \\ (1-S(x,y\left)\right)\times P(x,y) 。\end{gathered} $

(3)

式中：$ {S}_{E}(x,y) $为颜色补偿后弱通道像素值；$ {\sigma }_{P} $为强通道像素值的标准差；$ {\sigma }_{S} $为弱通道像素值的标准差。一般而言，$ {\sigma }_{P} > {\sigma }_{S} $，因此对比中通道而言，弱通道会被补偿得更深。$ S(x,y) $为颜色补偿前弱通道像素值；$ {P}_{\text{ave}}(x,y) $为强通道像素值的的平均值；$ {S}_{\text{ave}}(x,y) $为弱通道像素值的平均值。

由于对水下不同深度的区域采集照片时，会出现不同程度的色偏，如图2(a)所示，该图像整体呈现绿色，十分影响人的视觉感官；其对应的三色直方图如图2(b)所示，可知它的红通道高频像素值集中在0～100这一区间，而像素值较大的区域被蓝绿通道所占有，且蓝、绿通道像素变化范围对比红通道更广。基于灰度世界理论的白平衡算法改善后的图像如图3(a)所示，该图像整体偏色问题得到了较大改善，从图3(b)的三色直方图来看红通道的变化范围更广，主要集中在 25～200这一区间。经过多尺度颜色这一区间。经过多尺度颜色通道补偿后该水下图像如图4(a)所示，该图像色彩更丰富，能较大还原初始颜色；图3(b)中三通道像素值分布在整个0～255区间，分布更均匀，且每个通道像素密度保持较高的一致性。

2.2 引导滤波

引导滤波是当前较热门的一种边缘保持滤波器^[15]，与高斯滤波^[16]不同的是，引导滤波用到了局部线性定义的模型，一个复杂的函数可以用多个局部的线性函数来表示。假设一个引导滤波函数的输入与输出在一个二位的窗口内满足线性关系：

$ {q}_{i}={a}_{k}{I}_{i}+{b}_{k} 。$

(4)

式中：$ i\in {\omega }_{k} $，$ {\omega }_{k} $为以像素k为中心的窗口；$ {q}_{i} $为经滤波输出后图像的值；$ {a}_{k} $和$ {b}_{k} $为满足线性关系的系数；$ {I}_{i} $是输入图像的值，（也可以是引导图像）。对式(4)两边取梯度可以得到：

$ \nabla q=a\nabla I 。$

(5)

式中：$ \nabla $为梯度算子，当引导图像$ I $有梯度时，输出图像$ q $也有相似的梯度。也就是说引导滤波具有保持边缘特性的性质。接下来需要计算$ {a}_{k} $和$ {b}_{k} $，将输入图像p引入考虑的模型中，依据一般性的噪声模型，可以得到：

$ {q}_{i}={p}_{i}-{n}_{i} 。$

(6)

$ {n}_{i} $为需要去除的噪声，为了能够找到最小化输入图像p和输入图像q的差别，定义代价函数如下：

$ E({a}_{k},{b}_{k})= \sum _{i\in {\omega }_{k}}\left[{\left({a}_{k}{I}_{i}+{b}_{k}-{p}_{i}\right)}^{2}+\varepsilon {a}_{k}^{2}\right] 。$

(7)

式中：$ \varepsilon $是为了防止代价函数过小和校正滤波效果的正则化参数。为了对式子求取最小值，利用极小值法对其分别求偏导：

$ \left\{\begin{aligned} & \frac{\partial E({a}_{k},{b}_{k})}{\partial {a}_{k}}=0，\\ & \frac{\partial E({a}_{k},{b}_{k})}{\partial {b}_{k}}=0。\end{aligned}\right. $

(8)

可得结果如下：

$ \left\{\begin{aligned} & {a}_{k}=\frac{\dfrac{1}{\left|\omega \right|}{\displaystyle\sum} _{i\in {\omega }_{k}}{I}_{i}{p}_{i}-{\mu }_{k}{p}_{k}}{{\sigma }_{k}^{2}+\varepsilon }，\\ & {b}_{k}={p}_{k}-{a}_{k}{\mu }_{k}。\end{aligned}\right. $

(9)

式中：$ \left|\omega \right| $为$ {\omega }_{k} $中的像素数量；$ {\mu }_{k} $为引导图像像素均值；$ {p}_{k} $为$ {\omega }_{k} $窗口的像素均值；$ {\sigma }_{k}^{2} $为引导图像像素值的方差，$ \varepsilon $为线性回归系数。当引导图像与输入图像一致时，此时的导向滤波器能够在处理图像平坦部分时较好的保留图像纹理细节。此时式(9)可变为：

$ \left\{\begin{aligned} & {a}_{k}=\frac{{\sigma }_{k}^{2}}{{\sigma }_{k}^{2}+\varepsilon }，\\ & {b}_{k}=(1-{a}_{k}){p}_{k}。\end{aligned}\right. $

(10)

2.3 自适应伽马校正

在获取图像的照射分量后，依据光照分布特性构造光照不均匀校正函数，对亮度不均匀图像进行校正处理，降低光照过强区域的亮度值，提高光照过低区域的亮度值。本文引用一种基于自适应伽马函数的亮度校正方法^[17]，利用图像的光照分量的分布特性自适应地调整二维伽马函数的参数，实现提高光照不均匀图像整体质量的目的．对于输入图像$ F(x,y) $，其光照分量设为$ L(x,y) $，那么有：

$ o(x,y)=255{\left(\frac{F(x,y)}{255}\right)}^{\gamma },\gamma ={\left(\frac{1}{2}\right)}^{\frac{m-L(x,y)}{m}} 。$

(11)

式中：$ o(x,y) $为亮度校正后的图像；m为光照分量$ L(x,y) $的均值。假设m=128，那么式(11)的函数曲线如图5所示。

可知，当$ L(x,y) $=128时，像素映射后$ o(x,y) $的值不变，此时该曲线（r₃=128）为一次函数图像；当$ L(x,y) < $128，曲线则为凸函数（r₁=64，r₂=100），对应输出的$ o(x,y) $应大于$ F(x,y) $，也就是该点亮度值会得到加强；当$ L(x,y) > $128时，曲线为凹函数（r₄=190，r₅=255）对应输出的$ o(x,y) $应小于$ F(x,y) $，也就是说该点的亮度值会得到削弱。例如，当$ L(x,y) $=100时，假设$ F(x,y) $=120，那么经过校正后输出图像的亮度值为149，当$ L(x,y) $=190，假设$ F(x,y) $=200，那么最后得到输出图像的亮度值为181。

2.4 改进的多尺度Retinex算法

Retinex理论^[6]认为人眼所接收到的图像是由入射光的照明分量和物体本身反射的反射分量按像素点乘积的结果：

$ S(x,y)=L(x,y)\cdot R(x,y)。$

(12)

式中：$ S(x,y) $为观察者所采集到的图像；$ L(x,y) $为图像的照明分量，由光照强度所决定。$ R(x,y) $为物体的反射分量，由物体的形状及其颜色所决定。由于人眼对光线的敏感程度与对数曲线相似，因此将式(12)进行对数域变换

$ \text{log}R(x,y)=\text{log}S(x,y)-\text{log}L(x,y) 。$

(13)

为了得到照射分量的估计值，单尺度Retinex（Single Scale Retinex，SSR）算法提出照明分量$ L(x,y) $可以由高斯滤波函数与原始图像进行卷积得到：

$ \text{log}L(x,y)=\text{log}\left[G\right(x,y\left)*S\right(x,y\left)\right]。$

(14)

式中：$ G(x,y) $为高斯函数也称作中心环绕函数；$ * $表示卷积，$ G(x,y) $可以表示为：

$ G(x,y)=K{e}^{-\frac{{x}^{2}+{y}^{2}}{2{\sigma }^{2}}}。$

(15)

$ \mathrm{\sigma } $被称为高斯环绕的尺度，它决定了图像经过高斯滤波处理后的平滑程度。$ K $为参数，且必须满足：

$ \iint G(x,y){\text d}x{\text d}y=1 。$

(16)

为了保持图像的色彩细节，多尺度Retinex（Multi-Scale Retinex, MSR）被提出，其主要思路在于将原始图像进行通道分离后，将每一个通道进行线性叠加，其主要表达式如下：

$ \text{log}R(x,y) = \sum_{i = 1}^{k} {\omega }_{k} \left\{\text{log} \left[ S (x,y) \right] - \text{log} \left[ {G}_{i}(x,y) * S (x,y) \right]\right\} 。$

(17)

式中：$ {\omega }_{k} $为尺度权重系数，$ k $为尺度个数，一般$ {\omega }_{k} $取1/3，$ k $取3，$ {G}_{i}(x,y) $为对应i通道的高斯函数。在估计光照分量时，将引导滤波替换高斯滤波，光照分量则可变为：

$ L(x,y)={f'}(x,y)*S(x,y) 。$

(18)

式中：$ {f'}(x,y) $为引导滤波函数；$ * $为卷积计算；$ S(x,y) $为物体所反射的原始图像。求取光照分量之后，将光照分量进行自适应伽马变换，将亮度过低或过高的区域进行自适应修正，提高对比度:

$ {L'}(x,y)=255{\left(\frac{S(x,y)}{255}\right)}^{\gamma },\gamma ={\left(\frac{1}{2}\right)}^{\frac{m-L(x,y)}{m}}。$

(19)

$ {L'}(x,y) $为经对自适应伽马校正后的光照分量；$ L(x,y) $为原始图像的光照分量；$ m $为光照分量的均值；$ S(x,y) $为原始图像。$ {L'}(x,y) $代入式(17)中，可得：

$ \left\{\begin{aligned} & r(x,y)=\mathrm{log}R(x,y)，\\ & \mathit{log}R(x,y)=\sum _{i=1}^{k}{\omega }_{k}\left\{\mathit{log}\left[S(x,y)\right]-\mathit{log}\left[{L'}(x,y)\right]\right\}。\end{aligned}\right. $

(20)

$ r(x,y) $即为最终所求得的图像。

3 实验结果及分析

为了验证本文所提方法的有效性，选择来自公开的UIEB数据集中几幅有代表性的水下图像进行验证，这几张图像分别有不同程度的色偏、细节模糊和对比度低等问题，将本文方法与白平衡算法^[1]、DCP^[4]、改进的单尺度Retinex（Single-Scale Retinex，SSR）^[18]、CLAHE^[2]和Retinex^[13]等方法进行比较，并对实验结果进行主观和客观评价。

3.1 主观评价

由图6可知图像1中有大量悬浮物，造成水下成像模糊；图像2、图像3和图像7都有较为严重的色偏现象，导致整张图像偏绿色；图像4较为模糊，图像5和图像6偏蓝色且有伪影现象。经过白平衡算法处理后，虽然整体图像质量上升，色偏得到了较大改善但仍细节不足；DCP算法本质上是用于去雾，但处理水下图像无法解决色偏问题，另外还导致图像整体变阴暗；CLAHE算法能较好平衡三原色之间的变化幅度，但对于偏色严重的水下图像却效果不佳；改进的SSR算法能够对衰减严重的色彩通道有一定的补偿并且能够突出对比度，但部分区域却出现过度补偿或过度突出亮度的现象；Retinex算法虽能够在平衡色彩补偿的基础上最大化还原细节，但整体图像仍较为阴暗，边缘细节不够突出；从实验结果来看，本文方法能够校正水下图像色彩失真的问题，最大化恢复图像原始色彩，并且边缘细节增加明显，去雾效果良好，清晰度和对比度都得到了明显的改善，对比以上几种方法都有明显的优势。

3.2 客观评价

为了进一步的验证本文方法的有效性，采用无参考水下彩色图像质量评价UIQM（underwater image quality measures）^[19]作为图像质量评价指标，UIQM使用色度、饱和度和对比度这3个独立图像质量度量的线性叠加模型来生成图像质量测量。UIQM的值越高，代表图像质量越好，得到的图像更符合人眼视觉。

$ UIQM={c}_{1}UICM+{c}_{2}UISM+{c}_{3}UI{C}_{on}M。$

(21)

式中：$ {U} {I} {C} {M} $为图像色度度量；$ {U} {I} {S} {M} $为饱和度度量；$ {U} {I}{ {C}}_{ {o} {n}} {M} $为对比度指标；$ {c}_{1} $、$ {c}_{2} $、$ {c}_{3} $分别为权重系数。本文取$ {c}_{1} $=0.4680，$ {c}_{2} $=0.2745，$ {c}_{3} $=0.2576，经各算法处理水下图像后得到的UIQM值结果如表1所示。由表中数据可知，本文方法的UIQM指标均要高于其他算法，说明本文方法处理水下图像时能得到色彩更均衡、清晰度、对比度更高和细节更好地符合人眼视觉的图像。

UCIQE（underwater color image qualit-y evaluation metric）是一个综合的评价指标，可以反映图像的整体质量，是由色度、饱和度和亮度对比度的线性组合。通常，较高的UCIQE值表示图像质量较好，UCIQE指数可以描述为^[20]：

$ UCIQE = {c_1} \times {\sigma _c} + {c_2} \times {C_l} + {c_3} \times {\mu _s}。$

(22)

式中：${\sigma _c}$为色度偏差；${C_l}$为亮度对比度；${\mu _s}$为平均饱和度；${c_i}(i = 1,2,3)$为加权系数，在本文中选择${c_1}$=0.4680，${c_2}$=0.2745，${c_3}$=0.2576。表2为对比实验中UCIQE的数值结果，可以明显看到对于任一图片，本文方法处理后的最终结果均高于其他方法。

为了从多个角度对水下图像进行评价，本文还选取信息熵指标作为评价体系，信息熵代表图像的平均信息量，信息熵数值越大，表明图像所含信息量越丰富，其计算公式为：

$ E=-\sum _{x=0}^{255}P\left(x\right)\mathit{log}P\left(x\right) 。$

(23)

式中：x为灰度值；$ P\left(x\right) $为灰度值的分布概率特征。表3为图5中所有图像信息熵的评价结果。可知，本文方法的信息熵结果均要高于其他方法，说明本文方法处理后的图像所含信息更丰富。

4 结　语

由于水下环境恶略且复杂多变，在拍摄水下图像时，图像通常具有不同程度的色偏、噪声和细节模糊的问题，对于水下作业形成了严重的阻碍。基于此，本文提出一种基于色彩衰减补偿和改进的多尺度Retinex水下图像增强的方法。首先，针对水下图像出现色偏的问题，将水下图像分为3个通道，并依据总像素值的大小将其归为强、中、弱等3个通道，并对于每个通道进行不同尺度的颜色补偿，该方法能够有效改善水下图像的色偏问题。其次，运用改进的多尺度Retinex算法，在估计图像的光照分量时，用引导滤波替换高斯滤波，能够有效保持图像的边缘细节；最后，经过自适应伽马函数对光照分量进行校正，将亮度值过高或过低的区域进行自适应校正。本文实验使用公开的UIEB数据集进行验证，结果表明，对比目前主流的方法，本文方法能够更有效地改善不同场景下水下图像出现的色偏问题，并且能够同时增加细节和提升对比度，最后得到自然真实的水下图像。