低照度环境下拍摄的图像常存在曝光不足且伴有光照不均匀的现象，致使图像整体亮度偏暗，图像细节信息少，视觉效果模糊，很大程度上影响了人眼对图像直观的视觉效果及机器视觉系统对图像的信息提取、分析与处理。

目前，比较流行的低照度图像增强算法是由美国物理学家Edwin.H.Land^[1]提出的基于照度反射模型的Retinex理论。它认为人眼看到的物体颜色是由物体本身的反射性质所决定。其中，基于路径比较操作的算法^[3-4]和基于迭代运算模型^[5]这两类算法均参数调整困难且复杂度较高的问题，而Land提出的中心/环绕Retinex算法^[6]采用二维路径作为亮度，使光照成分的估计更为精准，从而使增强后的图像在视觉效果上有了很大的提高。特别适合煤矿井下、低照度人脸检测、道路监控、雾天等环境下低照度图像^[7-8]的处理。

然而由于高斯函数的各向同性特性，使得经过Retinex算法处理后的图像在得到光照补偿的同时会出现细节丢失、噪声放大以及过增强引起的对比度下降等问题。双边滤波^[9]不仅考虑了图像的空间邻近度，还考虑了像素值相似度，具有良好的平滑保边的效果。因此，刘晓阳等^[10]将Retinex算法与双边滤波相结合，有效改善了图像的颜色失真及细节丢失等现象，但算法复杂度较高；刘海波等^[11]采用一种改进直方图均衡对Retinex算法进行了改进，有效提升了光照变化条件下的图像增强效果，但仍然存在噪声问题，且处理效率低。He等^[12]提出的基于局部线性模型的引导滤波，不但具有与双边滤波一样的平滑保边作用，而且避免了双边滤波在边缘附近出现的梯度反转问题，在细节处理上更优于双边滤波，同时其效率不受窗口半径的影响，时间复杂度仅为一个O(N)。因此，本文采用引导滤波处理多尺度Retinex算法产生的边缘轮廓模糊、细节丢失、噪声放大问题；并且针对高频提升过程中可能出现的噪声放大问题，引入低秩分解有效地分离了图像本质特征和噪声特征，从而有效的去除噪声，同时过增强现象也得到了改善。

1 基本理论 1.1 Retinex理论

Retinex算法理论认为，人眼所观察到的物体亮度，是由光照分量和物体的反射分量构成，即

$ I\left( {x,y} \right) = R\left( {x,y} \right) \cdot L\left( {x,y} \right) $

(1)

式中：I(x, y)为原始图像，R(x, y)为反射分量，L(x, y)为光照分量。颜色恒常性理论认为反射分量反映物体本质信息，Retinex算法旨在通过数学方法去除图像中的光照部分，而获得其反射分量。但光照分量的计算在数学上属于一个欠定问题，只能通过近似估计得到。考虑到光照分量变化缓慢，表现为频域的低频成分；而由于物体材质和表面形状的不同，其反射率差异较大，表现为频域中的高频成分。因此，单尺度Retinex(single scale retinex，SSR)^[13]算法通常采用低通滤波函数作为环绕函数来估计光照分量。图像的入射光成分的数学表达式为

$ L\left( {x,y} \right) = I\left( {x,y} \right) * F\left( {x,y} \right) $

(2)

式中：F(x, y)为高斯环绕函数：

$ F\left( {x,y} \right) = \frac{1}{{2{\rm{ \mathsf{ π} }}{\sigma ^2}}}\exp \left( { - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}} \right) $

(3)

将式(2)代入式(1)，并进行对数变换，得到

$ \begin{array}{*{20}{c}} {\log \left( {R\left( {x,y} \right)} \right) = \log \left( {I\left( {x,y} \right) - } \right.}\\ {\left. {\log \left( {I\left( {x,y} \right) * F\left( {x,y} \right)} \right)} \right)} \end{array} $

(4)

对log(R(x, y))进行取指数运算即可得到图像的反射分量R(x, y)。其中，F(x, y)中的参数σ称为尺度参数，是SSR中唯一的输入参数，其大小决定了图像的最终增强效果。图 1为取不同尺度参数σ时的高斯核模型。

当σ取值较大时，高斯模板较大，卷积后估计的入射光照变化也较为平滑，在图像上表现为颜色保真度较好，但细节信息丢失严重；当σ取值较小时，高斯模板较小，卷积后入射光照变化则相对激烈，使得图像增强了更多的细节信息，但颜色失真较为严重。由于SSR中的参数σ唯一，不能保证增强后图像在细节提取和颜色保真度之间达到平衡，继而出现了多尺度Retinex(multi scale Retinex，MSR)^[14]算法。MSR算法采用多个不同尺度的高斯函数对图像的光照部分进行估计，再将输出结果加权求和。MSR公式如下：

$ \begin{array}{*{20}{c}} {{R_M} = \sum\limits_{n = 1}^N {{w_n}\left\{ {\log \left( {I\left( {x,y} \right)} \right) - } \right.} }\\ {\left. {\log \left( {I\left( {x,y} \right) * F\left( {x,y} \right)} \right)} \right\}} \end{array} $

(5)

式中：N表示高斯函数的个数；w_n为尺度n对应的加权系数，其满足$\sum\limits_{n = 1}^N {{w_n}} = 1$，通常N选3且权重相当；σ分别取小、中、大3个尺度(σ=15, 80, 250)。

1.2 引导滤波

He等^[12]于2010年提出的引导滤波是一种基于局部线性模型的滤波算法，即假设引导图像I与滤波输出R_q之间存在如下关系：

$ {R_{{q_i}}} = {a_k}{I_i} + {b_k},\forall i \in {w_k} $

(6)

式中：i为像素索引，w_k为以某一像素k为中心、半径为r的方形窗口。依据建立输入图像和输出图像的最小代价函数模型(7)可确定式(6)中的线性系数(a_k, b_k)。

$ E\left( {{a_k},{b_k}} \right) = \sum\limits_{i \in {w_k}} {\left( {{{\left( {{a_k}{I_i} + {b_k} - {R_i}} \right)}^2} + \varepsilon a_k^2} \right)} $

(7)

式中:R_i为输入图像; ε为避免a_k过大的正则因子，最终求得的a_k、b_k的大小也受ε的影响。其解为

$ \left\{ \begin{array}{l} {a_k} = \frac{{\frac{1}{{\left| w \right|}}\sum\limits_{i \in {w_k}} {{I_i}{R_i} - {\mu _k}{{\bar R}_k}} }}{{\sigma _k^2 + \varepsilon }}\\ {b_k} = {{\bar R}_k} - {a_k}{\mu _k} \end{array} \right. $

式中：μ_k与σ_k²分别为在窗口w_k中I的均值与方差，|w|是窗口w_k中的像素数目，${\bar R_k} = \frac{1}{{\left| w \right|}}\sum\limits_{i \in {w_k}} {{R_i}} $是在窗口w_k中R的均值。

2 改进的MSR算法 2.1 算法思想

MSR算法是通过拉伸图像暗区域的幅度来提亮图像。由于对暗区域的拉伸幅度大于亮区域，所以图像中较暗区域得到了显著地增强，改善了图像的整体亮度。但当原始图像较复杂且存在噪声时，MSR算法在对图像暗区域进行拉伸时，暗区域的噪声也会被放大，导致原先未被发现的噪声变得更为明显。另外，由于MSR算法中的高斯函数存在各向同性特征，使得该算法在增强图像亮度的同时，也模糊了图像的边缘，导致部分细节信息丢失。

本文采用原始图像I作为引导图像，对MSR处理后的反射图像R进行引导滤波处理，并提取细节层d。设R_q为经引导滤波后的平滑图像，也称为基层图像，细节层图像d可通过输入图像R和基层图像R_q之间的差得到，即

$ d = R - {R_q} $

(8)

放大细节层图像d并且与基层图像R_q叠加，得到最终高频提升后的图像I′：

$ I' = d \times m + {R_q} $

(9)

式中m为放大倍数。

由于图像中的噪声具有高频特性，包含于细节层d中。因此，对图像进行高频提升的同时，图像中存在的噪声也会被放大。

为了消除在暗区域拉伸和高频提升过程中被放大的噪声，本文引入了全局低秩分解的方法去除噪声。由于图像表达的是一个结构信息，图像矩阵各行之间存在着一定的相关性，具备低秩特性。因此，可以通过低秩分解分离出图像的稀疏误差矩阵，去除图像本身的稀疏噪声，同时改善过增强问题。低秩分解的目标为求解以下最小化问题：

$ \min \;{\rm{rank}}\left( {L'} \right) + \lambda {\left\| E \right\|_0},{\rm{s}}.\;{\rm{t}}.\;\;I' = L' + E $

(10)

式中：L′和E分别为图像矩阵I′的低秩分量和稀疏误差分量，rank(·)为矩阵的秩，λ为正则化参数，${\left\| \cdot \right\|_0}$表示l₀范数。由于式(10)为NP问题，文献[15-16]论证了可以用凸松弛的l₁范数代替非凸的l₀范数，将其转化为凸优化问题：

$ \min {\left\| {L'} \right\|_ * } + \lambda {\left\| E \right\|_1},{\rm{s}}.\;{\rm{t}}.\;\;I' = L' + E $

(11)

式中：${\left\| {L'} \right\|_*}$表示核范数，${\left\| \cdot \right\|_1}$表示l₁范数。本文采用增广拉格朗日乘子法求解^[17]，可以得到任意一幅图像M_r的低秩分量：

$ g = P{M_r} $

(12)

式中P为求解出的低秩投影矩阵。

稀疏误差矩阵为

$ e = {M_r} - g $

(13)

2.2 算法流程

本文算法的主要流程如图 2所示。

1) 对原图I进行MSR算法处理，得到图像的反射分量R，初步去除光照对图像的不利影响；

2) 将反射分量R作为引导滤波的输入图像，原图像I作为引导滤波的引导图像，得到滤波后的保边平滑图像R_q；

3) 根据引导滤波输出R_q提取细节图层d，并将其放大后叠加于R_q，得到增强后的图像I′；

4) 对得到的图像I′进行低秩分解，去除稀疏噪声，改善图像的过增强现象，得到低秩分量g。

3 实验结果及分析

本文采用CMU-PIE和Yale B人脸库对算法进行了验证。CMU-PIE库包含68人的41 368幅图像(每人约50张)，包含13种姿态、43种光照，4种表情的类内变化的干扰。本文选择68人在相同姿态和表情下、3种不同光照情况的正面人脸，构成实验子集，部分人脸如图 3(a)所示。Yale B的人脸库中总共5 760幅人脸图像，包括10个人9种姿态，每种姿态又有64种不同光照条件下的图像，64幅图像根据光源方向(方位角和仰角)不同而分为5个子集。5个子集分别为：(0°, 12°)，(13°, 25°)，(26°, 50°)，(51°, 77°)，(78°以上); 由于本文仅关注光照问题，所以只选取10个人在一种姿态下5个光照子集中的图像，在5个子集中各取一张图像作为实验子集，其中部分图像如图 3(b)所示。

为了方面描述，将图 3中不同的人脸分别编号为a、b、c、d，并将CMU-PIE库中同一人脸在不同光照环境下的序号分别编号为1、2、3等。

3.1 参数选择

引导滤波中的窗口半径r和平滑增益ε的大小需要人为设定，且直接影响了图像的最终增强效果。当ε较小时能更好的平滑图像去噪；ε较大时，则更侧重于保持高频边缘。不同r和ε参数下的对比结果如图 4所示。

基于以上的讨论和参数对比，在r一定的情况下，ε越大图像越模糊。本文选择r=2，ε=0.1²参数进行后续的实验。

对于图像细节层的放大倍数m，不同参数m取值之间的对比结果如图 5所示。在窗口半径r=2和平滑增益ε=0.1²一定的条件下，m越大，轮廓增强越明显，细节增强更丰富，但当m过于大时，图像出现了过增强现象，使图像失真。根据对比实验结果，本文选择m=1作为后续实验的参数。

3.2 图像客观评价

为了进一步评价本文算法的性能，本文采用直方图、对比度、归一化互相关系数及文献[17]提出的统计方法对图像增强效果进行评价。

1) 直方图：直方图是通过图像的灰度分布来体现图像的处理效果。

本文算法与传统的MSR算法处理后的图像直方图对比结果如图 6~7所示。MSR和本文算法处理后的图像在灰度动态范围上都得到了拉伸，改善了图像的低照度问题，但本算法处理后的灰度值分布更均匀，更符合最佳视觉感觉。

2) 对比度(con)：对比度是通过测量待测直方图和均匀分布的直方图之间的相似程度：

$ {\rm{con}} = \sqrt {\frac{1}{{MN}}\sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {\left[ {W\left( {x,y} \right) - \frac{1}{{MN}}\sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {W\left( {x,y} \right)} } } \right]} } } $

图像对比度实验结果如图 8~9所示。原图由于光照原因对比度较低，经MSR算法处理后虽然消除了大部分光照问题，但却使图像出现了过增强现象，丢失了部分图像的轮廓和细节信息。由实验结果图可以看出，经过本文算法处理后的图像，其对比度均远远高于原图和MSR算法，在提高图像亮度的同时，也较好改善了图像过增强引起的图像泛白和对比度较低等问题。

3) 归一化互相关系数(NC)：相关系数体现处理前后两幅图像的相似程度。本文分别计算了原图和MSR处理后的图像之间的相似度(Y-MSR)、原图和本文算法处理后的图像的相似度(Y-本文算法)，对两者进行了比较。计算公式如下：

$ {\rm{NC}} = \frac{{\sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {W\left( {x,y} \right) \times W'\left( {x,y} \right)} } }}{{\sqrt {\sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {{W^2}\left( {x,y} \right)} } } \sqrt {\sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {{{W'}^2}\left( {x,y} \right)} } } }} $

式中：图像尺寸为M×N，W(x, y)、W′(x, y)表示增强前后的图像灰度值。

本文分别计算了原图和MSR处理后的图像之间的相似度(Y-MSR)、原图和本文算法处理后的图像的相似度(Y-本文算法)。图 10、11为人脸库中人脸在不同角度测光下的NC的对比结果。可以看出，本文算法处理后图像与原图的归一化相关系数(NC)高于MSR算法处理后的图像与原图的相关系数，而相关系数值越大，表示处理后的图像的保真度更高，获得了更好的图像增强效果。

4) 文献[18]所提出方法同时考虑到了图像的均值与方差^[20]，该方法将图像分成大小一致的块，各块之间不重叠。首先对各个子块求标准方差Std_B，再对所有标准方差求平均，最后用平均方差Std与灰度均值Gray相乘得到评价结果，相乘值越大，表示图像的质量就越好。

客观评价指标Std×Gray实验结果如图 12~13所示。由结果可以看出，原图的Std×Gray值较低，这是由于原图像曝光不足，所以质量相对较低。与原始图像和MSR算法处理后的图像相比，经本文算法处理后的图像各项质量评价数据均有明显提升。

3.3 图像主观评价

在图像的主观评价中，本文主要通过对MSR算法和本文算法处理低照度图像的结果进行可视化对比。如图 14所示，为MSR算法与本文算法的增强效果的细节对比。

由图 14可以看出，与原图及MSR算法处理后的图像相比，经本文算法处理后的图像明显改善了轮廓边缘的虚影现象，同时消除了轮廓边缘的部分噪声，解决了低照度图像的照度低、对比度低、细节模糊不清等问题，图像细节及整体视觉效果上都得到了一定的提升。

图 15为YaleB数据库5个子集中不同光照角度下的人脸图像。由实验结果可以看出，MSR算法虽然消除了光照问题，但同时也出现了过增强现象。当光照角度低于50°时，MSR算法处理后的图像整体泛白且对比度下降，丢失了大量的细节信息，降低了视觉的可观性。而本文算法在提高图像整体亮度的同时，也有效增强了图像的对比度，并且保留了图像的边缘和细节信息。即使在当测光角度大于50°时，本文算法也能够较好的保持图像的轮廓和细节信息。

如图 16所示，为图 3中的a2图像的原始图像以及经MSR算法和本文算法处理后的第20行一维像素值扫描对比结果。从图 16(b)中可以看出，与原图相比较，经过MSR处理后的图像整体亮度得到了提高，但对于图像的细节层保留不够；而经过本文算法处理后的图像，不但图像的整体亮度得到了有效提升，而且图像的细节层也得到了增强。

3.4 人脸检测率比较

本文采用CMU-PIE和Yale B人脸库中的图像进行人脸检测率的实验。从CMU-PIE数据库中随机选择48人的3幅图像进行实验，包括了低照度情况下三种不同的人脸图像。从Yale B数据库中随机选取20人，选择每个人的21幅不同光照下的图像进行测试。

选择传统的Adaboost分类器作为人脸检测的分类器，训练次数T=20，测试次数Testtimes=2。实验结果如表 1所示。从表 1可以看出，本文算法处理后的人脸图像的检测率均高于原人脸图像的检测率和MSR处理过后的人脸图像的检测率，表明本文的算法在处理人脸图像后更便于机器视觉系统对图像的特征信息的提取，从而更利于分类器进行人脸检测。

4 结论

1) 对于MSR处理低照度图像结果进行了两步改进：首先对MSR处理结果采用引导滤波和高频提升，增强图像的细节信息；然后采用低秩分解对图像处理过程中的噪声进行了消除，有效避免噪声对图像视觉的影响。

2) 实验结果表明，本文算法在直方图、对比度、归一化互相关系数及Std×Gray对比中，均优于传统的MSR算法，而且获得了很好的视觉效果，使图像的细节和轮廓得到了有效的增强，尤其对于测光角度大于50的低照度人脸图像，本算法效果更佳。

3) 将本文算法应用于人脸检测实验，检测率相较于经典的MSR算法也得到了提高。

本文算法在处理具有较强侧影图像时效果不理想，这将是进一步研究的方向。