手指静脉识别是一种活体生物特征识别技术，它利用近红外光透射手指后采用CCD或摄像头获取被采集手指内部静脉纹路的分布图，再通过一定的特征提取算法从静脉图像中提取出特征值存贮在计算机系统中^[1-2]。静脉特征属于人体内部信息，不受各种外部环境影响，且采用活体采集的方式不易被复制盗取，安全级别很高^[3-4]。

目前，许多静脉识别方法采用的是静脉图像的局部特征，这种局部特征主要用于描述指静脉纹路的细节信息。例如：采用静脉血管纹路特征的识别方法^[5]、基于局部线性特征的识别方法^[6]、基于纹理特征的方法^[7-8] 、基于端点和交叉点的细节点特征的识别方法^[9-11]，然而，当静脉图像质量较差时将会导致基于局部特征的识别方法识别率下降，这是因为这类图像中存在较多的伪特征，从而造成匹配决策过程中出现拒绝、误识现象^[12]。有很多静脉识别方法是利用图像的全局特征进行处理的：王科俊等^[13]采用小波矩融合PCA变换和LDA变换的方法实现手指静脉的匹配识别；贾旭等^[14] 提出了一种基于Contourlet子带能量特征多 HMM 融合的静脉识别；文献[15]则通过对图像进行拉普拉斯变换实现静脉图像的全局匹配。此外，还有基于支持向量机理论的识别方法^[16]、基于自适应Gabor滤波器的静脉识别方法^[17]、基于机器学习理论的识别方法^[18] ，也达到了较好的识别效果。然而，当静脉图像存在一定的旋转或者平移现象时，上述基于全局特征的识别方法的精度将会受到影响。

由于静脉图像具有明显的纹理特征，因此本文将LBP纹理描述算子应用于手指静脉识别。鉴于传统LBP算法对光照方向的变化非常敏感，且邻近区域的LBP码并不是相互独立的，因此LBP特征向量对噪声也较为敏感^[19-20]。针对上述两个问题，本文采用融合旋转不变模式与统一模式的LBP算子，并采用较大空间支持区域的模板对手指静脉图像进行特征提取，在此基础上，使用双向B2DPCA(bi-directional two dimensional principal components analysis)^[21]技术对上述静脉图像的LBP特征向量进行降维处理，以去除冗余特征，将降维后的向量作为最终待识别的特征向量。实验结果表明，本文提出的融合LBP与B2DPCA方法在天津智能静脉库与FV-USM静脉库上的最优识别率分别达到99.84%与99.73%，算法性能良好。

1 基于LBP纹理特征的指静脉识别方法

由于手指静脉图像采用非接触方式采集，图像受平移、旋转变换影响较大，并且图像发生这类非线性变换时，匹配的细节点对之间通常都存在相对位置和角度偏差，影响识别系统的识别精度。针对这一问题，本文提取指静脉的纹理特征，并进行匹配识别。手指静脉纹路上存在明显的纹理特征，能够很好地反映不同类静脉图像的差异，因此静脉图像的唯一性信息可由这些纹理特征来表征。

1.1 传统的LBP算子

LBP算子的基本原理是在局部像素邻域中，以中心点像素为阈值，邻域中特定位置的像素点与中心点像素点的灰度值相比较，所得的二进制值作为局部邻域中心像素点的纹理特征F，局部纹理特征F与邻域像素灰度值可表述为

$F = f({g_c},{g_0},g{}_1, \cdots ,{g_{p - 1}})$

(1)

式中： ${g_c}$ 为邻域中心像素的灰度值； ${g_0},{g_1}, \cdots ,{g_{p - 1}}$ 为模板中其他像素点的灰度值； $p$ 为局部邻域内选取特定像素点的个数。

将式(1)中各分量的值减去中心像素的灰度值：

$F = f({g_c},{g_0} - {g_c}, \cdots ,{g_{p - 1}} - {g_c})$

(2)

由于各个像素点相互独立，式(2)可写为

$F \approx f({g_c})f({g_0} - {g_c},{g_1} - {g_c}, \cdots ,{g_{p - 1}} - {g_c})$

(3)

将式(3)中与纹理特征无关的量去掉后，简化为

$F \approx f({g_0} - {g_c}, {g_1} - {g_c},\cdots ,{g_{p - 1}} - {g_c})$

(4)

若只考虑邻域像素与中心像素差值的符号，则式(4)可改写为

$F \approx f(s({g_0} - {g_c}), s({g_1} - {g_c}),\cdots ,s({g_{p - 1}} - {g_c}))$

(5)

其中 $s(x) = \left\{ {\begin{array}{*{20}{c}} {1,}&{x > 0} \\ {0,}&{{\rm{\text{其他}}}} \end{array}} \right.$ 。

LBP算子最常用的局部邻域模板为3×3的九宫格、8个邻域像素点的模板，通过LBP算子计算可得8位二进制数，LBP值共有 ${2^8}$ 种。然而这种模板却无法适应图像的尺度变化，为此Ojala等^[22]将传统的3×3正方形模板扩展到了任意尺寸的圆形邻域，并对圆形邻域中没有完全落在像素点位置上的灰度值采用线性插值算法进行计算。改进后的LBP算子的半径大小和邻域内像素点个数是任意的，不同的邻域如图1所示。图1中采样点的邻域个数为P，算子的半径为R。

将式(5)中的差值函数 $s({g_i} - {g_c})$ 乘以权重因子 ${2^i}$ ，将二进制数转换成十进制数，并将其数值作为局部邻域中心像素点的LBP值，计算公式为

${\rm{LB{P}}_{P,R}} = \sum\limits_{i = 0}^{P - 1} {s({g_i} - {g_c}) \times {2^i}} $

式中 ${\rm{LB{P}}}_{P,R}$ 表示半径为R、P个像素点的局部邻域计算的LBP值。具体手指静脉图像的LBP算子基本运算过程如图2所示。

1.2 基于统一模式的LBP算子

对传统的LBP算子纹理模式进行统计分析可知，某些特殊的局部二值模式构成了超过图像90%的纹理模式，本文将这些局部模式称为统一模式的LBP算子。判定为统一模式的公式为

$\begin{split} U&({\rm{LB{P}}}_{P,R}) = \left| {s({g_{P - 1}} - {g_c}) - s({g_o} - {g_c})} \right| + \\ & {\kern 1pt} \sum\limits_{p = 1}^{P - 1} {\left| {s({g_P} - {g_c}) - s({g_{P - 1}} - {g_c})} \right|} \end{split}$

(6)

式中： ${g_{\rm{c}}}$ 为邻域中心像素的灰度值； ${g_0},{g_1}, \cdots ,{g_{p - 1}}$ 为P邻域像素的灰度值。根据定义式(6)，U的最大取值为2。

1.3 旋转不变的统一模式LBP算子

图像的平移及旋转会引起传统的LBP算子值的变化，为了消除图像旋转的影响，文献[20]提出了基于旋转不变的LBP算子，将计算得出的LBP值按同方向循环移位，取所有移位中最小的值作为被计算的LBP值的旋转不变模式，配一个唯一的标识符，具体的旋转不变LBP模式的定义为

${\rm{LBP}}_{P,R}^{ri} = \min \{ {\rm{ROR}}(s({g_i} - {g_c}),i\left| {i = 0,1, \cdots ,P - 1} \right.\} $

式中： ${\rm{ROR}}(x,i)$ 中的x表示二进制数，i表示向右循环移动的位数。

将上述旋转不变LBP模式与1.2节中统一模式LBP进行结合，则构成旋转不变的统一模式LBP算子：

${\rm{LBP}}_{P,R}^{riu2} = \left\{ {\begin{array}{*{20}{l}} {\displaystyle\sum\limits_{P = 0}^{P - 1} {s({g_p} - {g_c}),} }&{U({\rm{LB}}{{\rm{P}}_{P,R}}) \leqslant 2} \\ {P + 1,}\;\;{{\rm{\text{其他}}}} \end{array}} \right.$

使用LBP算子对静脉图像 $f(x,y)$ 进行特征提取之后的特征用直方图来表示，即

$ {H_i} = \sum\limits_{x,y} {I(f(x,y) = i)} ,\;\;\;\;\;\;i = 0,1, \cdots ,{2^N} - 1 $

式中 $I(X) = \left\{ {\begin{array}{*{20}{c}} {1,}&{f(x,y) = i} \\ {0,}&{{\rm{\text{其他}}}} \end{array}} \right.$ 。

将一幅手指静脉图像进行分块，对每个子块分别进行LBP算子处理，再得到每个子块的LBP直方图，最后将各个子块的LBP直方图按照子块所在位置串联形成复合的LBP直方图，如图3所示。

2 基于双向二维主成分分析的指静脉识别方法

二维主成分分析(2DPCA)^[23]可通过图像直接构造出协方差矩阵，该矩阵比使用主成分分析(PCA)构造的协方差矩阵要小得多，容易直接地计算训练样本的协方差矩阵，在人脸识别方面取得了良好的应用效果。但二维主成分分析仍存在系数矩阵维数过高的缺点，而双向二维主成分分析(B2DPCA)能有效地降低图像特征矩阵的维数，因此本文将B2DPCA思想引入到手指静脉识别方法中。

2.1 二维主成分分析

设原始手指静脉图像为A，大小为 $m \times n$ ，二维主成分分析的思想就是把A通过式(7)的线性变换朝向量X投影：

${{Y}} = {{AX}}$

式中：Y为得到的投影特征向量，维数为 $m$ 。上述过程中，X的方向不同，图像A投影后的可分离程度也不同，投影图像的总体散布矩阵越大，可分离程度越高，图像识别效果越好。而图像的总体散布矩阵可由投影特征向量的协方差矩阵的迹来表示，因此求取最佳投影轴X的准则为

$J({{X}}) = {\rm{tr}}({{U}})$

(7)

式中： ${\rm{tr}}({{U}})$ 为U的迹；U为Y的类间总体散布矩阵，U的具体定义为

${{U}} = {\rm{E}}({{Y}} - {\rm{E}}{{Y}}){({{Y}} - {\rm{E}}{{Y}})^{\rm{T}}}$

因此式(8)可表示为

$J({{X}}) = {{\rm{tr}}}({{U}}){\rm{ = }}{{{X}}^{\rm{T}}}[{\rm{E}}{({{A}} - {\rm{E}}{{A}})^{\rm{T}}}({{A}} - {\rm{E}}{{A}})]{{X}}$

(8)

定义矩阵 ${{{C}}_{{t}}}$ 为

${{{C}}_{{t}}} = {\rm{E}}{[({{A}} - {\rm{E}}{{A}})]^{\rm{T}}}[{{A}} - {\rm{E}}{{A}}]$

式中C_t为 $n \times n$ 的图像协方差矩阵，可由训练样本图像计算得到。

设训练样本共M个，则M个样本的平均图像用 $\overline {{A}} $ 来表示：

${\overline{ A}} = \frac{1}{M}\sum\limits_{i = 1}^M {{{{A}}_{{i}}}} $

式中矩阵 ${{{A}}_i}\;\left( {i = {\rm{ }}1,2, \cdots ,M} \right)$ 表示第i个训练样本。

则 ${{{C}}_{{t}}}$ 可以由式(10)求出：

${{{C}}_{{t}}} = \frac{1}{M}\sum\limits_{k = 1}^M {{{({{{A}}_{{k}}} - \overline {{A}} )}^{\rm{T}}}({{{A}}_{{k}}} - \overline {{A}} )} $

(9)

2.2 基于双向二维主成分分析的指静脉识别

设 ${{A}}_{{k}}^{{{(i)}}}$ 和 $\overline {{A}} _{}^{{{(i)}}}$ 分别表示图像 ${{A}}$ 和训练样本的平均图像 $\overline {{A}} $ 的第i个行向量，则式(10)可表示为

${{{C}}_{{t}}} = \frac{1}{M}\sum\limits_{k = 1}^M {\sum\limits_{i = 1}^m {{{({{A}}_{{k}}^{{{(i)}}} - \overline {{A}} _{}^{{{(i)}}})}^{\rm{T}}}({{A}}_{{k}}^{{{(i)}}} - \overline {{A}} _{}^{{{(i)}}})} } $

设训练样本的均值 $\overline {{A}} = 0$ ，则式(11)表示 ${{{C}}_{{t}}}$ 可由图像行向量的外积产生，因此可将上述二维主成分分析称为行方向的二维主成分分析，其实质是图像矩阵A寻找行方向上的最佳投影矩阵X，而在列方向上也存在一个最佳投影矩阵。

设 ${{A}}_{{k}}^{{{(j)}}}$ 和 $\overline {{A}} _{}^{{{(j)}}}$ 分别表示图像A和训练样本的平均图像 $\overline {{A}} $ 的第j个列向量，则列方向二维主成分分析的思想是把A通过式(12)的线性变换投影到Z上，产生矩阵 ${{B}} = {{{Z}}^{\rm{T}}}{{A}}$ ，则式(9)可表示为

$\begin{split} J&({{Z}}) = { {{\rm{tr}}}\{ {\rm{E}}[({{B}} - {\rm{E}}{{B}}){{({{B}} - {\rm{E}}{{B}})}^{\rm{T}}}]\} {\rm{ = }}} \\ & { {{\rm{tr}}}\{ {{{Z}}^{\rm{T}}}{\rm{E}}[({{A}} - {\rm{E}}{{A}}){{({{A}} - {\rm{E}}{{A}})}^{\rm{T}}}]{{Z}}\} } \end{split}$

列方向协方差矩阵为

${{{C'}}_{{t}}} = \frac{1}{M}\sum\limits_{k = 1}^M {\sum\limits_{j = 1}^n {{{({{A}}_{{k}}^{{{(j)}}} - \overline {{A}} _{}^{{{(j)}}})}^{\rm{T}}}({{A}}_{{k}}^{{{(j)}}} - \overline {{A}} _{}^{{{(j)}}})} } $

行方向的2DPCA能得到一个反映图像矩阵各行信息的最优矩阵X，忽略了图像矩阵列方向上的信息，同理，列方向的2DPCA则忽略了图像行方向上的信息。但双向二维主成分分析则充分考虑了图像行、列两方向的信息，具有更佳的效果。

双向二维主成分分析方法的思想是将图像矩阵A同时在X和Z上投影，产生特征矩阵C，即

${{C}} = {{{Z}}^{\rm{T}}}{{AX}}$

(10)

在使用双向二维主成分分析进行指静脉识别时，首先将训练样本库中的每幅指静脉图像 ${{{A}}_{{k}}}(k = 1,2, \cdots ,M)$ 在 ${{X}}$ 和 ${{Z}}$ 上投影，得到训练图像的特征矩阵 ${{{C}}_{{k}}}(k = 1,2, \cdots ,M)$ ；在测试时，利用式(13)求取待识别样本的特征矩阵 ${{C}}$ ，再求出 ${{{C}}_{{k}}}$ 和C之间的距离，通过最近邻分类器实现分类。C_k和C之间的距离定义为

$d = \left( {{{C}},{{{C}}_k}} \right){\rm{ = }}\sqrt {\sum\limits_{i = 1}^q {\sum\limits_{j = 1}^d {{{\left( {{{{C}}^{(i,j)}} - {{C}}_k^{(i,j)}} \right)}^2}} } } $

式中：q为行方向上的主分量数；d为列方向上的主分量数。基于B2DPCA技术的指静脉识别方法具体流程如图4所示。

3 融合LBP与B2DPCA技术的静脉识别方法

由于提取出的手指静脉图像LBP纹理特征维数较多，包含大量冗余信息。本文对静脉LBP特征向量采用B2DPCA方法进行降维处理，以便有效地提取静脉特征，进一步提高静脉识别系统的识别率。

融合LBP与B2DPCA技术的静脉识别方法的具体步骤为：

1)将手指静脉图像进行分块，对每个图像子块分别进行LBP算子处理，再得到每个子块的LBP直方图，最后将各个子块的LBP直方图按照子块所在位置叠加成最终的复合LBP直方图；

2)然后采用双向二维主成分分析方法对LBP特征向量构成的特征矩阵进行有效的降维处理；

3)再通过比对降维后的待识别静脉图像特征向量与其他样本的特征向量之间的欧式距离来实现最终的样本分类。

4 实验结果分析 4.1 实验环境及数据库

为了验证本文所提出的融合LBP与B2DPCA技术的静脉识别方法的有效性，分别在天津市智能实验室采集指静脉图像数据库及FV-USM手指静脉图像数据库进行实验验证。测试实验硬件环境为Intel i3 2.53 GHz CPU，2 GB内存，Win 7操作系统，运行环境为MATLABR2010b软件。

FV-USM库中图像采集来自马来西亚理科大学的123名志愿者，包括83名男性与40名女性，年龄跨度为20~52岁，每人采集左手与右手的食指与中指，共计5 904幅图像。每幅手指静脉图像的分辨率为640×480，灰度级为256。数据库中部分图像如图5所示。

天津智能实验室库中共采集64根不同手指，每根手指采集15次，共计960幅静脉图像。图像的分辨率为76×170，灰度级为256。图6为该数据库中部分手指静脉图像。

4.2 基于LBP算子的静脉识别方法性能测试与分析

首先对两个手指静脉图像库中样本使用基于统一模式的 ${\rm{LBP}}_{(8,1)}^{u2}$ 算子，基于旋转不变的 ${\rm{LBP}}_{(8,1)}^{ri}$ 算子以及旋转不变的统一模式 ${\rm{LBP}}_{(8,1)}^{riu2}$ 算子3种方法进行测试，3种算子均使用邻域个数P=8，算子半径R=1的圆形邻域。天津数据库中每根手指的静脉图像为16幅，本文分别从每个手指样本的16幅图像中随机抽取1幅、3幅、5幅、7幅和9幅图像作为训练样本，则不同的训练样本个数对应的正确识别率如表1所示。由于天津静脉库中图像质量非常好，3种算子的识别率都很高，在训练样本个数达到3个时，正确识别率均超过90%，其中 ${\rm{LBP}}_{(8,1)}^{u2}$ 算子在训练样本个数为5个时识别率达到99.95%， ${\rm{LBP}}_{(8,1)}^{ri}$ 算子的最优识别率也达到了99.22%， ${\rm{LBP}}_{(8,1)}^{riu2}$ 算子在训练样本个数为9时识别率也达到了97.4%，表明本文使用的基于局部纹理特征的LBP算子性能较好。

FV-USM数据库中每根手指仅有6幅图像，从中分别随机抽取1幅、2幅、3幅、4幅和5幅图像作为训练样本，不同的训练样本个数对应的正确识别率如表2所示。由于FV-USM数据库中部分图像对比度较差，3种算子的识别率不是很高，且有一定的差异。 ${\rm{LBP}}_{(8,1)}^{u2}$ 算子与 ${\rm{LBP}}_{(8,1)}^{riu2}$ 算子的最优识别率不到80%，相较于另外两种算子 ${\rm{LBP}}_{(8,1)}^{ri}$ 算子的识别率最高，在训练样本个数多于2个时，可达到80%以上，尽管如此，其最优识别率为89.16%，仍低于90%。

实验结果表明：单独使用基于局部纹理特征的LBP静脉识别方法具有一定的有效性，在图像质量良好的天津数据库上实验效果令人满意，但在FV-USM数据库上识别率较差，存在很大的提升空间。

4.3 融合LBP与B2DPCA技术的指静脉识别方法性能测试及分析

如前所述，静脉图像经分块提取的LBP纹理特征维数较多，为提高系统识别性能，本节将上述LBP算子提取出的特征使用PCA、2DPCA、B2DPCA技术进行降维处理。分别测试了在不同训练样本个数下单独使用PCA方法、2DPCA以及 ${\rm{LBP}}_{(8,1)}^{u2}$ 、 ${\rm{LBP}}_{(8,1)}^{ri}$ 、 ${\rm{LBP}}_{(8,1)}^{riu2}$ 这3种算子与PCA、2DPCA的融合方法的正确识别率。图7为在天津数据库上测试结果，可以看出，单独使用2DPCA算法的识别率优于单独使用PCA算法，而在3种LBP算子与PCA、2DPCA的组合算法中，统一算子 ${\rm{LBP}}_{(8,1)}^{u2}$ 与基于旋转统一算子 ${\rm{LBP}}_{(8,1)}^{riu2}$ 的性能优于旋转算子 ${\rm{LBP}}_{(8,1)}^{ri}$ ，其中 ${\rm{LBP}}_{(8,1)}^{u2}$ +2DPCA与 ${\rm{LBP}}_{(8,1)}^{riu2}$ +2DPCA方法性能最佳，识别率分别达到99.74%与99.58%。此外，各个方法的识别率随着训练样本个数的增加而提高，当训练样本个数超过3个时，各个方法的识别率均达到99%以上。

本文将方法在FV-USM数据库进行测试，实验结果如图8所示，通过图8中的实验结果可以看出，各个方法的识别率随着训练样本个数的增加而提高，当训练样本个数多于3个时，各个方法的正确识别率能达到80%以上，当训练样本为5个时，性能最好的 ${\rm{LBP}}_{(8,1)}^{u2}$ +2DPCA方法与 ${\rm{LBP}}_{(8,1)}^{riu2}$ +2DPCA方法识别率分别为94.31%与99.19%。

为了测试不同降维方法与LBP算子融合的有效性，本节分别将单独使用 ${\rm{LBP}}_{(8,1)}^{u2}$ 算子、 ${\rm{LBP}}_{(8,1)}^{u2}$ +PCA方法、 ${\rm{LBP}}_{(8,1)}^{u2}$ +2DPCA方法以及 ${\rm{LBP}}_{(8,1)}^{u2}$ +B2DPCA方法在2个图像库上进行测试，实验结果如图9、图10所示。图9为天津静脉库测试结果，从图中可以看出由于该库静脉图像质量良好，各个方法识别率差别不大，均在97.5%以上，本文所提出的 ${\rm{LBP}}_{(8,1)}^{u2}$ +B2DPCA方法识别率最高，达到了99.84%。

图10为FV-USM静脉库测试结果，其中单独使用LBP算子的静脉识别方法性能最差，将其与PCA技术结合后，识别率有较大提升，在3个、4个训练样本时识别率分别为82.20%与89.16%，训练样本数为5时，识别率达到96.75%；LBP+2DPCA方法的识别率在3个、4个、5个训练样本时分别为95.75%、98.10%与96.75%，整体优于 ${\rm{LBP}}_{(8,1)}^{u2}$ +PCA方法性能；而本文所提的 ${\rm{LBP}}_{(8,1)}^{u2}$ +B2DPCA方法的最优识别率达到了99.73%，性能十分优良。

实验结果表明，本文提出的方法无论在图像质量良好的天津静脉库还是存在部分图像质量较差的FV-USM静脉库的测试结果均达到了99%以上，识别性能较好，具备一定的实用性。

5 结束语

本文融合旋转统一的LBP算子与B2DPCA技术对手指静脉图像进行有效的特征提取，改善了在非接触式采集方式下的静脉图像存在的光照不均因素导致识别率较低的问题。实验结果表明，本文算法能大幅度提高识别率，特别是对于对比度较差的FV-USM指静脉中的样本，相较于单一的LBP特征提取算法，传统的经典降维算法和LBP与经典降维组合特征提取算法，拥有较好的识别性能。由于融合了局部纹理特征算子与B2DPCA技术，本文方法的识别时间比单独使用降维识别方法要长，而处理速度是衡量识别系统性能的一个重要指标，因此在保持识别系统性能的前提下如何进一步提高系统的识别速度是今后研究的重点。