人脸识别作为一项日趋成熟的生物特征识别技术，广泛应用于安防、金融、教育、交通、行政等领域。在人脸识别中，光照变化一直是影响人脸识别结果的重要因素之一。不同光照条件下的同一个人的图像差异巨大，有时甚至大于两个不同的人的图像。传统方法如主成分分析^[1](principal component analysis, PCA)、局部Gabor特征匹配^[2]、支持向量机^[3]等，无法消除光照带来的图像差异^[4]。

为了解决这个问题，人们提出了许多方法，大致可分为4类。第1类方法使用传统的图像处理方法，如直方图均衡^[5](histogram equalization, HE)、Gamma校正、对数变换、同态滤波等方法，来消除光照差异。这类方法不考虑物理光照模型，因此效果有限。第2类方法从图像中提取对光照不敏感的特征作为人脸图像的特征，如局部二值模式^[6]、局部三值模式^[7]、梯度方向直方图^[8]、增强局部纹理特征^[9]。第3类方法尝试利用不同光照下的人脸图像样本来建立人脸模型，如光照锥模型法^[10]、3-D形变模型^[11]以及球面谐波模型法^[12]。第4类方法尝试寻找光照不变的人脸图像表征方法，如单尺度Retinex方法^[13]、Gradientface^[14]、自商图^[15](self-quotient image，SQI)、Weber-face^[16]以及基于小波变换的方法^[17-18]。C. Chen等^[19]将引导滤波^[20](guided image filter)引入人脸图像的光照补偿中，提出了边缘弱化引导滤波(edge-weakening guided image filter，EWGIF)，并将人脸图像经EWGIF处理后的图像作为自商图中平滑图，利用自商图得到光照补偿图像，取得了良好的效果。

本文在C. Chen等工作的基础上，提出了一种基于加权EWGIF的人脸图像光照补偿方法。首先构造一个可区分边缘细节的惩罚项来代替引导滤波中的常数惩罚项；接着以正面光照下的训练样本的类间平均脸作为正面光照模型，使用该光照模型生成一个加权系数对惩罚项进行加权；最终通过自商图获得在人脸识别过程中更具区分度的人脸图像。

1 基于EWGIF的人脸光照补偿

本节首先简要介绍文献[19]中获得光照补偿图像的自商图^[15]方法，然后介绍引导滤波^[20]，文献[19]在该方法的基础上提出了EWGIF，用以计算自商图中的平滑图，最后介绍EWGIF方法，并分析了其中的不足之处。

1.1 自商图

自商图是一种简单而高效的图像光照补偿方法，它是指输入图像及其平滑图的比值，即

$Q = \frac{I}{{\hat I}}$

(1)

式中： $I$ 为输入图像， $\hat I$ 为 $I$ 的平滑图， $Q$ 为光照补偿之后图像。文献[19]以EWGIF方法得到原图的平滑图 $\hat I$ ，以自商图的结果 $Q$ 作为人脸识别过程中的特征。由式(1)可以看出，平滑图 $\hat I$ 决定了自商图的最终效果。

1.2 引导滤波

引导滤波是一种局部线性图像滤波，在实现平滑滤波的同时具有良好的边缘保持性能。引导滤波建立在两个模型的基础上。

模型1　假设输出图像 $Z$ 和引导图像 $G$ 之间呈局部线性关系，即

$Z(i) = {\alpha _k}G(i) + {\beta _k},\forall i \in {\omega _r}(k)$

(2)

式中： ${\omega _r}(k)$ 为以像素点 $k$ 为中心半径为 $r$ 的窗； ${\alpha _k}$ 、 ${\beta _k}$ 是线性变换的系数，在 ${\omega _r}(k)$ 范围内为常数。由式(2)可知 $\nabla Z = \alpha \nabla G$ ，这使得引导滤波能够从图像中良好地区分出边缘部分。

模型2　假设输出图像 $Z$ 和输入图像 $I$ 之间呈线性关系，即

$Z(i) = I(i) - n(i)$

(3)

式中 $n(i)$ 是滤波过程中不希望保留的噪声或纹理。

为了在维持式(2)成立的同时最小化 $Z$ 和 $I$ 之间的差异，引导滤波通过在窗 ${\omega _r}(k)$ 内最小化下述损失函数来求解式(2)中的线性变换系数 ${\alpha _k}$ 和 ${\beta _k}$ ：

$E({\alpha _k},{\beta _k}) = \sum\limits_{i \in {\omega _r}(k)} {\left[ {{{\left( {{\alpha _k}G(i) + {\beta _k} - I(i)} \right)}^2} + \varepsilon \alpha _k^2} \right]} $

(4)

式中 $\varepsilon $ 为常数惩罚项，用于抑制过大的 ${\alpha _k}$ 值。

由于每个像素点都被多个窗所覆盖，故每个像素点都对应多组线性变换系数 ${\alpha _k}$ 、 ${\beta _k}$ ，这里取它们的均值 $\bar \alpha $ 和 $\bar \beta $ 作为每个像素点对应的线性变换系数。因此式(2)可改写成：

$Z(i) = {\bar \alpha _i}G(i) + {\bar \beta _i}$

(5)

其中

${\bar \alpha _i} = \frac{1}{{\left| {{\omega _r}(i)} \right|}}\sum\limits_{q \in {\omega _r}(i)} {{\alpha _q}} $

(6)

${\bar \beta _i} = \frac{1}{{\left| {{\omega _r}(i)} \right|}}\sum\limits_{q \in {\omega _r}(i)} {{\beta _q}} $

(7)

1.3 EWGIF

文献[19]中使用引导滤波的输出图像 $Z$ 作为SQI中的平滑图 $\hat I$ ，并将引导滤波的损失函数，即式(4)中的常数惩罚项 $\varepsilon $ 用一个由局部方差生成的系数 $\lambda $ 代替：

$E({\alpha _k},{\beta _k}) = \sum\limits_{i \in {\omega _r}(k)} {\left[ {{{\left( {{\alpha _k}G(i) + {\beta _k} - I(i)} \right)}^2} + \lambda (k)\alpha _k^2} \right]} $

(8)

这使得引导滤波能根据图像的局部方差，自动调节平滑等级。EWGIF虽然具有区分边缘的能力，但并不是所有的边缘细节都能被看作人脸特征，算法对于不属于人脸特征的边缘细节不做特殊处理。如图1所示，圆圈标记出的明暗交界处是光照影响产生的，应归为噪声，但因其局部方差较大，也会被算法视作边缘细节。这会在一定程度上影响人脸识别的准确率。

为了解决这个问题，本文提出加权EWGIF算法来弥补EWGIF的不足。

2 加权EWGIF 2.1 加权惩罚项

同文献[19]一样，本文方法在使用引导滤波时，假设输入图像 $I$ 与引导图像 $G$ 相同。同时本文将式(4)中的常数惩罚项 $\varepsilon $ 用加权惩罚项 $\xi (k)$ 代替：

$\xi (k) = W(k)\mu \sigma _1^2(k)$

(9)

此时式(4)变为

$E({\alpha _k},{\beta _k}) = \sum\limits_{i \in {\omega _r}(k)} {\left[ {{{\left( {{\alpha _k}G(i) + {\beta _k} - I(i)} \right)}^2} + \xi (k)\alpha _k^2} \right]} $

(10)

式(10)是一个线性岭回归模型^[21]，易得其解 ${\alpha _k}$ 和 ${\beta _k}$ 分别为

${\alpha _k} = \frac{{\sigma _r^2(k)}}{{\sigma _r^2(k) + \xi (k)}}$

(11)

${\beta _k} = (1 - \,{\alpha _k}){\mu _r}(k)$

(12)

式(9)第1项 $W(k)$ 是加权系数，本文将在2.2节阐述如何计算该项，以及该项的作用；第2项 $\mu $ 是输入图像的每个窗 ${\omega _1}(q)$ 内方差的倒数之和，即

$\mu = \frac{1}{N}\sum\limits_{q = 1}^N {\left( {\frac{1}{{\sigma _1^2(q) + c}}} \right)} $

(13)

式中 $N$ 是输入图像的总像素数。为了防止式(13)出现分母为零的情况， $c$ 是一个取值极小的常数(本文取 $c = 0.001$ )。式(13)反映了图像整体上的光照差异(见图2)：当光照良好时，图像边缘细节明显，其值最小；当光照不均匀，部分区域出现阴影造成边缘细节不明显时，其值变大；当光照极度不均匀，图像中出现大片阴影时，其值最大。

式(9)第3项 $\sigma _1^2(k)$ 表示窗 ${\omega _1}(k)$ 内像素方差。如图3(a)所示，该项则反映了图像局部的差异，边缘细节明显处，如眉毛部分，该项取值较大；无细节或平滑处，如脸颊部分，该项取值较小。注意到，图3(b)中，脸颊平滑部分由光照产生的明暗交界区域的 $\sigma _1^2(k)$ 值也比较大，因此该区域也会被视为人脸的边缘细节，但实际上该区域属于噪声。

式(9)中第2项 $\mu $ 和第3项 $\sigma _1^2(k)$ 均由局部方差计算得到，其中窗的半径均取1，这是为了让计算结果更突出地反映出图像边缘细节。在惩罚项中加入第2、3项，是为了使算法具有自动区分边缘细节的能力。它们的乘积与EWGIF中惩罚项相似，在区分边缘细节的同时会将人脸平滑部分的明暗交界区域也视为边缘细节，故本文加入加权系数 $W(k)$ 来约束惩罚项。

2.2 加权系数

本文使用人脸在正面光照条件下图像的光照部分 $L$ 来构造加权系数 $W$ 。取正面光照的训练样本图像 $\{ {T_m},m = 1,2, \cdots ,M\} $ 的平均值，并对其使用高斯模糊，即得到光照部分 $L$ ：

$L(k) = {\rm{gaussian}}\left( {\frac{1}{M}\sum\limits_{m = 1}^M {{T_m}} (k)} \right)$

(14)

式中： ${T_m}$ 为第 $m$ 幅正面光照的训练样本图像，其像素值已归一化至 $[0,1]$ ； $M$ 为训练样本总数目； ${\rm{gaussian}}( \cdot )$ 为高斯模糊函数。图4展示了利用Extended Yale B中正面光照图像计算得到的光照模型。由图4可以看出，眼、口、鼻等边缘细节处的像素灰度值相对较小，而额头、脸颊、下巴等平滑处的像素灰度值相对较大。

在滤波过程中，某一区域的惩罚项越大，其平滑等级越高，经过自商图方法处理后该区域的边缘细节也越明显；该区域惩罚项越小，其平滑等级越低，经过自商图方法处理后该区域更趋向于平滑。故为了弱化光照造成的人脸平滑部分图像的细节噪声，需减小滤波过程中这些区域的平滑等级，即减小这些区域的惩罚项。同时，为了维持人脸特征不被弱化，对于包含人脸特征的细节区域，其惩罚项需要增大或维持不变。

为了满足上述条件，加权系数 $W$ 在人脸细节区域的取值应当大于其在人脸平滑区域的取值。为此，本文对 $L$ 作反色得到 $L'(k) = 1 - L(k)$ ，并在 $W$ 中加入 $L'$ 。同时由图4可观察到，人脸平滑区域的总面积大于人脸细节区域，所以 $W$ 中大部分像素的取值应当较小。但从图5(a)中 $L'$ 的直方图来看，其大部分像素分布在直方图中心区域。因此，本文对 $L'$ 中的各像素值求平方(相当于对 $L'$ 进行了Gamma校正)，用所得值来代替 $W$ 中的 $L'$ 。图5(b)直方图展示了其像素分布，从中可见大部分像素分布在直方图左侧，取值较小。

最终根据如上分析，本文构造加权系数 $W$ ：

$W(k) = \delta {\left( {1 - L(k)} \right)^2}$

(15)

式中 $\delta $ 是由多次实验得到的一个常数。

2.3 算法流程

本文算法的具体流程如下。

输入　正面光照人脸图像 $\{ {T_m},m = 1,2, \cdots ,M\} $ ，人脸图像 $I$ ；

输出　光照补偿后图像 $Q$ 。

1) 按式(14)由 $\{ {T_m},m = 1,2, \cdots ,M\} $ 计算光照部分 $L$ ，并将其带入式(15)得到加权系数 $W$ ；

2) 取窗口半径为1，计算 $I$ 中各个像素的局部方差 $\sigma _1^2(k),k = 1,2, \cdots ,N$ ，并按式(13)计算各个窗内方差的倒数之和 $\mu $ ；

3) 将 $W$ 、 $\sigma _1^2(k)$ 和 $\mu $ 代入式(9)得到惩罚项 $\xi $ ；

4) 将 $I$ 同时作为引导滤波的输入图像和引导图像，并使用 $\xi $ 作为引导滤波的惩罚项，通过引导滤波算法计算得到滤波输出图像 $Z$ ；

5) 将算法的输入图像 $I$ 和滤波输出图像 $Z$ 分别作为式(1)中的原图 $I$ 和平滑图 $\hat I$ ，可得到自商图输出 $Q$ ，即人脸图像 $I$ 经过光照补偿后的图像。

上述算法的时间复杂度为 ${O}(N)$ ，与引导滤波的时间复杂度相同。

3 实验结果与分析

本文首先在Extended Yale B数据库上进行了光照补偿实验，并与EWGIF+SQI方法^[19]做了对比。接着在CMU-PIE和Extended Yale B这两个数据库上进行了人脸识别实验，并与原图、HE^[5]、Weber-face^[16]、EWGIF+SQI做对比。Weber-face方法使用文献[16]推荐参数，EWGIF中的常数系数 $\varepsilon $ 和本文式(15)中的常数系数 $\delta $ 都通过穷举搜索，在Extended Yale B数据库中设定至最佳值。对于 $\delta $ ，本文以0.02为步长，在区间[0.02, 0.4]内进行搜索。本文在CMU-PIE数据库上的实验亦采用这套参数( $\varepsilon = {\rm{250}}$ ， $\delta = 0.06$ )。数据库中的人脸图像均已对齐，且尺寸归一化至 $120 \times 120$ 。本文使用以欧式距离为度量准则的最近邻分类器来对测试样本进行分类，同时使用PCA来降低特征维数，使用训练样本来提取PCA投影基向量，并保留特征90%的能量。

3.1 光照补偿实验结果

Extended Yale B中包含了38张人脸在64种光照条件下的图像，本文按照拍摄时光源方向与摄像机方向的夹角，将数据库分为5个子集(S₁~S₅)：0°~12°为S₁，13°~25°为S₂，26°~50°为S₃，51°~77°为S₄，大于78°为S₅。

图6展示了本文方法和EWGIF分别结合的SQI方法，以及Weber-face对Extended Yale B数据库进行光照补偿后的结果。由图6可以看到，S₃、S₄、S₅样本中由光照造成的明暗交界区域，在EWGIF和Weber-face中没有做特别处理；而在本文方法中，这些区域被弱化，在S₄中体现尤为明显。S₂图像由于光照比较接近正面光照，本文方法和EWGIF方法的实验结果相近。

3.2 人脸识别实验结果 3.2.1 CMU-PIE测试结果

本文在CMU-PIE的光照子集(“C27”)上进行测试，其中包含了68个人脸在21种光照条件下的图像。本文每次使用1种光照下的图像作为训练样本，其余20种光照下的图像作为测试样本。

图7展示了不同方法在CMU-PIE上的识别准确率，可以看到，本文方法明显优于原图和HE，较Weber-face提升了约7.3%的平均识别准确率；且在不同光照条件的图片作为训练样本时，相较于EWGIF，本文方法的识别准确率都得到了不同程度的提升。从表1可以看出，本文方法的平均识别准确率在EWGIF+SQI的基础上提升了约5.9%。

3.2.2 Extended Yale B测试结果

本文使用Extended Yale B中的子集S1作为训练样本，另外4个子集作为测试样本，进行人脸识别实验。

图8展示了穷举搜索常数系数 $\delta $ 的结果。由图8可见，当 $\delta = 0.06$ 时，本文方法+SQI在Extended Yale B数据库S₂~S₅子集上取得较好的识别结果。

表2展示了不同方法在Extended Yale B中的每个子集(不包含作为训练集的S₁)上的识别准确率及平均识别准确率，可以看到，本文方法在各个子集上的识别准确率明显高于原图和HE，在S₃、S₄、S₅上的识别准确率高于Weber-face。由于S₂与训练集的光照差异不大，本文方法在S₂上的识别准确率与EWGIF、Weber-face相差不大；另外3个子集与训练集的光照差异大，本文方法相较于EWGIF+SQI，在S₃、S₄、S₅上分别提升了约6.1%、7.6%、2.1%，平均识别率提升了约3.7%。

表3对比了不同方法的运行时间。实验使用CPU主频3.2 GHz、内存8 GB的PC机，所有代码均为MATLAB实现。由表3可见，本文方法的运行时间虽然超过HE、Weber-face，但相较于EWGIF仅增加了微量的运行时间。算法具有一定的实时性，可进一步应用于实时视频的人脸识别中。

4 结束语

本文针对人脸识别中的光照变化问题，提出了一种基于加权EWGIF的人脸光照补偿方法。使用正面光照样本的类间平均脸生成加权系数，作为引导滤波损失函数惩罚项的加权系数，配合自商图，弱化了最终得到的光照补偿图像中人脸平滑区域由光照造成的边缘细节噪声。实验结果表明，本文方法能有效提高人脸识别准确率。未来的工作将深入研究引导滤波的惩罚项，改进加权系数，优化光照模型，从而进一步提升光照补偿的效果和人脸识别的准确率。