在计算机视觉和模式识别领域，数据降维和特征提取一直是比较重要的研究方向。主成分分析(principal component analysis，PCA)^[1]和线性鉴别分析(linear discriminant analysis, LDA)^[2]是最经典的两种线性特征提取算法，其中主成分分析是无监督特征提取算法的代表，线性鉴别分析是监督特征提取算法的代表。而单特征提取算法只能从一个角度或一个通道来处理信号数据^[3]。在通常的分类任务中，数据经常有多种表示方式。传统的单特征提取算法主要针对单表示数据的维数约减^[4]，不适合多表示数据的维数约减。

典型相关分析(canonical correlation analysis，CCA)是一种经典的多元统计分析方法。于1936年由H.Hotelling^[5]首次提出，现已被成功应用于字符与人脸等图像识别任务中^[6-7]，并取得了良好的效果。但是，在处理含噪声数据情况时，CCA的特征表示能力却有限。在通常的模式识别分类任务中，数据会包含很多由于设备故障或者自然环境产生的噪声，这在一定程度上限制了CCA的应用范围。

近年来，许多学者^[8-10]提出了低秩表示(low-rank representation，LRR)理论。Wright等^[9]也基于低秩分解提出了针对噪声数据的鲁棒主成分分析(robust principal component analysis，RPCA)。通过对原始噪声数据进行低秩处理，RPCA可以有效地抽取出高维数据中的低维子空间结构。

为了提升CCA在噪声情况下抽取线性相关性的能力，受低秩理论的启发，提出了鲁棒典型相关分析(robust canonical correlation analysis, RbCCA)。RbCCA首先对抽取出的特征集运用RPCA进行低秩分解，提取出原始特征的低秩主分量和噪声稀疏分量。基于这两种分量分别构建对应的协方差矩阵。通过最大化低秩分量的相关性，同时最小化噪声分量的相关性来建立判别准则函数，进而求取鉴别投影矢量。在MFEAT手写体数据库以及ORL和Yale人脸数据库中的实验结果表明：在不同程度的噪声数据下，RbCCA算法的识别效果均优于现有CCA方法的识别效果。

1 典型相关分析基本原理

假设两组随机矢量集x∈R^p与y∈R^q，并且E(x)=0，E(y)=0，典型相关分析就是寻找一对投影方向α∈R^p与β∈R^q，使得投影x^*=α^Tx与y^*=β^Ty之间具有最大的相关性，称这种相关为典型相关，对应的投影方向α和β通过最大化如下相关准则函数获得^[11-12]：

$ \begin{array}{*{20}{c}} {{\rho _{{\rm{CCA}}}}\left( {\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \right) = \frac{{\mathit{\boldsymbol{E}}\left( {{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{x}}{\mathit{\boldsymbol{y}}^{\rm{T}}}\mathit{\boldsymbol{\beta }}} \right)}}{{\sqrt {\mathit{\boldsymbol{E}}\left( {{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{x}}{\mathit{\boldsymbol{x}}^{\rm{T}}}\mathit{\boldsymbol{\alpha }}} \right) \cdot \mathit{\boldsymbol{E}}\left( {{\mathit{\boldsymbol{\beta }}^{\rm{T}}}\mathit{\boldsymbol{y}}{\mathit{\boldsymbol{y}}^{\rm{T}}}\mathit{\boldsymbol{\beta }}} \right)} }} = }\\ {\frac{{{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{xy}}\mathit{\boldsymbol{\beta }}}}{{\sqrt {{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{xx}}\mathit{\boldsymbol{\alpha }} \times {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{yy}}\mathit{\boldsymbol{\beta }}} }}} \end{array} $

(1)

式中：E(·)表示随机变量的期望，S_xx和S_yy分别表示随机矢量x和y的组内协方差矩阵，S_xy表示随机矢量x与y的互协方差矩阵，在这里，假设S_xx和S_yy是非奇异矩阵。

在实际求解中ρ_CCA(α、β)的极值与α、β的大小无关，只与α、β的方向有关。为了确保解的唯一性，可令：

$ {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{xx}}\mathit{\boldsymbol{\alpha }} = {\mathit{\boldsymbol{\beta }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{yy}}\mathit{\boldsymbol{\beta }} = 1 $

(2)

在式(2) 的约束下，式(1) 可等价的表示为

$ \begin{array}{l} \mathop {\max }\limits_{\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} {\mathit{\boldsymbol{\rho }}_{{\rm{CCA}}}}\left( {\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \right) = {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{xy}}\mathit{\boldsymbol{\beta }}\\ {\rm{s}}{\rm{.t}}{\rm{.}}\;\;\;\;{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{xx}}\mathit{\boldsymbol{\alpha = }}{\mathit{\boldsymbol{\beta }}^{\rm{T}}}{\mathit{\boldsymbol{S}}_{yy}}\mathit{\boldsymbol{\beta = }}1 \end{array} $

(3)

运用奇异值分解对式(3) 进行求解，得到投影矢量集α和β。

2 基于低秩分解的鲁棒典型相关分析

典型相关分析作为一种经典的多元统计分析方法，已被成功应用于字符与人脸等图像识别任务中^[6-7]，并取得了良好的效果。但是，在处理含噪声数据时，CCA的特征表示能力却有限。为了提升CCA在噪声情况下的特征表示能力，引入低秩理论处理噪声，提出了新的CCA模型——鲁棒典型相关分析。

鲁棒典型相关分析(RbCCA)是针对含噪声数据而提出的一种典型相关分析(CCA)改进算法。RbCCA通过将含噪声数据进行低秩分解，得到低秩分量和噪声分量。基于这两种分量，RbCCA构建出新的协方差矩阵。提出的优化准则函数能够在最大化本质特征的相关性的同时最小化噪声的相关性，从而尽可能地降低噪声对典型投影矢量的影响。提升了传统CCA在含噪声数据下的特征表示能力。

2.1 RbCCA协方差矩阵的构建

在模式识别任务中，为了避免噪声影响分类结果，许多已有的方法通常直接利用通过低秩分解得到的低秩分量进行特征降维和模式分类。但是，一般情况下噪声分量中也包含了一些对分类有利的信息^[13]，不能直接遗弃。因此，基于低秩分量和噪声分量，建立新的互协方差矩阵，改进CCA的目标优化方程，提出了鲁棒典型相关分析。

为了获得给定含噪声观察矩阵W∈R^m×n中对应的低秩分量Z∈R^m×n和噪声分量E∈R^m×n，Wright等^{[9, 14]}提出了秩最小化方程：

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{Z,E} {{\left\| Z \right\|}_ * } + \lambda {{\left\| E \right\|}_{{l_1}}}}\\ {{\rm{s}}{\rm{.t}}{\rm{.}}\;\;\;\mathit{\boldsymbol{W}} = \mathit{\boldsymbol{Z}} + \mathit{\boldsymbol{E}}} \end{array} $

(4)

式中：λ>0是一个和噪声有关的参数，‖·‖_l为不同的矩阵范数，代表了不同的正则化方法。根据文献[8, 15]选取l₁范数作为正则化方法对噪声数据进行低秩分解。

给定含噪声样本随机矢量x^N∈R^P、y^N∈R^q。通过式(4) 可以求解出对应的低秩分量x_Z^N、y_Z^N和噪声分量x_Z^E、y_Z^E。

对于求解得到的低秩主分量和噪声稀疏分量，分别计算对应的组内协方差矩阵和互协方差矩阵。其中S_xx^Z、S_xx^E和S_xy^Z、S_xy^E的计算公式如下：

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{S}}_{xx}^Z = E\left[ {{{\left( {\mathit{\boldsymbol{x}}_Z^N - E\left( {\mathit{\boldsymbol{x}}_Z^N} \right)} \right)}^{\rm{T}}}\left( {\mathit{\boldsymbol{x}}_Z^N - E\left( {\mathit{\boldsymbol{x}}_Z^N} \right)} \right)} \right]\\ \mathit{\boldsymbol{S}}_{xx}^E = E\left[ {{{\left( {\mathit{\boldsymbol{x}}_E^N - E\left( {\mathit{\boldsymbol{x}}_E^N} \right)} \right)}^{\rm{T}}}\left( {\mathit{\boldsymbol{x}}_E^N - E\left( {\mathit{\boldsymbol{x}}_E^N} \right)} \right)} \right]\\ \mathit{\boldsymbol{S}}_{xy}^Z = E\left[ {{{\left( {\mathit{\boldsymbol{x}}_Z^N - E\left( {\mathit{\boldsymbol{x}}_Z^N} \right)} \right)}^{\rm{T}}}\left( {\mathit{\boldsymbol{y}}_Z^N - E\left( {\mathit{\boldsymbol{y}}_Z^N} \right)} \right)} \right]\\ \mathit{\boldsymbol{S}}_{xy}^E = E\left[ {{{\left( {\mathit{\boldsymbol{x}}_E^N - E\left( {\mathit{\boldsymbol{x}}_E^N} \right)} \right)}^{\rm{T}}}\left( {\mathit{\boldsymbol{y}}_E^N - E\left( {\mathit{\boldsymbol{x}}_E^N} \right)} \right)} \right] \end{array} \right. $

类似，也可以得出S_yy^Z、S_yy^E和S_yx^Z、S_yx^E的计算公式。

2.2 算法原理与模型构建

RbCCA将x^N和y^N的低秩分量，噪声分量区别对待，即求一对投影方向α和β，使得α^TS_xy^Zβ尽可能大的同时α^TS_xy^Eβ尽可能小。于是得到改进后的典型相关准则函数为

$ \left\{ \begin{array}{l} \mathop {\max }\limits_{\alpha ,\beta } \mathit{\boldsymbol{\rho }}_{{\rm{CCA}}}^Z\left( {\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \right) = {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{xy}^Z\mathit{\boldsymbol{\beta }}\\ \mathop {\min }\limits_{\alpha ,\beta } \mathit{\boldsymbol{\rho }}_{{\rm{CCA}}}^E\left( {\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \right) = {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{xy}^E\mathit{\boldsymbol{\beta }} \end{array} \right. $

(5)

式中：ρ_CCA^Z(ρ_CCA^E)为低秩(噪声)分量的相关性，S_xy^Z(S_xy^E)为低秩(噪声)分量的协方差矩阵。

式(5) 是一个多目标方程优化问题，很难直接求解。通过最大化公式(5) 中两个准则函数的差值进行求解^[16]，即

$ \begin{array}{*{20}{c}} {\mathop {\max }\limits_{\alpha ,\beta } \left\{ {\mathit{\boldsymbol{\rho }}_{{\rm{CCA}}}^Z\left( {\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \right) - \mathit{\boldsymbol{\rho }}_{{\rm{CCA}}}^E\left( {\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \right)} \right\} = }\\ {{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{xy}^Z\mathit{\boldsymbol{\beta }} - {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{xy}^E\mathit{\boldsymbol{\beta }} = }\\ {{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\left( {{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{xy}^Z\mathit{\boldsymbol{\beta }} - \mathit{\boldsymbol{S}}_{xy}^E} \right)\mathit{\boldsymbol{\beta }}} \end{array} $

(6)

式(6) 满足在最大化本质特征的相关性的同时最小化噪声的相关性的要求，保证了求解得出的投影矢量的鉴别能力。相应地，能够得到式(7) 约束：

$ \left\{ \begin{array}{l} {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\left( {\mathit{\boldsymbol{S}}_{xx}^Z - \mathit{\boldsymbol{S}}_{xx}^E} \right)\mathit{\boldsymbol{\alpha = }}1\\ {\mathit{\boldsymbol{\beta }}^{\rm{T}}}\left( {\mathit{\boldsymbol{S}}_{yy}^Z - \mathit{\boldsymbol{S}}_{yy}^E} \right)\mathit{\boldsymbol{\beta = }}1 \end{array} \right. $

(7)

令S_xy^*替代式(7) 中的S_xy^Z－S_xy^E，S_xx^*、S_yy^*分别替代式(7) 中的S_xx^Z-S_xx^E和S_yy^Z-S_yy^E，综合式(6)、(7)，得到转换后的RbCCA的准则函数：

$ \begin{array}{*{20}{c}} {\mathop {\max }\limits_{\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \mathit{\boldsymbol{\rho }}_{{\rm{CCA}}}^ * \left( {\mathit{\boldsymbol{\alpha }},\mathit{\boldsymbol{\beta }}} \right) = {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{xy}^ * \mathit{\boldsymbol{\beta }}}\\ {{\rm{s}}{\rm{.t}}{\rm{.}}\;\;{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{xx}^ * \mathit{\boldsymbol{\alpha }} = 1,{\mathit{\boldsymbol{\beta }}^{\rm{T}}}\mathit{\boldsymbol{S}}_{yy}^ * \mathit{\boldsymbol{\beta }} = 1} \end{array} $

(8)

式(8) 满足了在最大化本质特征的相关性的同时最小化噪声成分的相关性的要求。最大程度上降低了噪声对典型投影矢量的影响，增强了投影矢量的鉴别能力。

2.3 RbCCA模型求解

式(8) 的求解方法同CCA算法的求解。利用Lagrange乘数法，可以将问题转化为求解如下两个广义特征方程的问题：

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{S}}_{xy}^ * {\left( {\mathit{\boldsymbol{S}}_{yy}^ * } \right)^{ - 1}}\mathit{\boldsymbol{S}}_{yx}^ * \mathit{\boldsymbol{\alpha = }}{\zeta ^2}\mathit{\boldsymbol{S}}_{xx}^ * \mathit{\boldsymbol{\alpha }}\\ \mathit{\boldsymbol{S}}_{yx}^ * {\left( {\mathit{\boldsymbol{S}}_{xx}^ * } \right)^{ - 1}}\mathit{\boldsymbol{S}}_{xy}^ * \mathit{\boldsymbol{\beta = }}{\zeta ^2}\mathit{\boldsymbol{S}}_{yy}^ * \mathit{\boldsymbol{\beta }} \end{array} \right. $

(9)

于是求解式(9) 就等同于求解矩阵(S_yy^*)^-1S_yx^*(S_xx^*)^-1S_xy^*或(S_xx^*)^-1S_xy^*(S_yy^*)^-1S_yx^*的特征值和特征矢量问题。选取前d个最大特征值对应的特征矢量(α₁^*, α₂^*, …, α_d^*)和(β₁^*, β₂^*, …, β_d^*)作为RbCCA的投影方向。则α^*=(α₁^*, α₂^*, …, α_d^*)和(β^*=β₁^*, β₂^*, …, β_d^*)为最终求得的投影矢量集。

对于给定的样本矢量x和y，对原始特征进行投影后得到变换后的特征分量(α^*)^Tx和(β^*)^Ty。为了方便后续的模式分类，采用式(10) 的串行特征融合策略对特征进行融合：

$ P = \left[ {\begin{array}{*{20}{c}} {{{\left( {{\mathit{\boldsymbol{\alpha }}^ * }} \right)}^{\rm{T}}}\mathit{\boldsymbol{x}}}&{{{\left( {{\mathit{\boldsymbol{\beta }}^ * }} \right)}^{\rm{T}}}\mathit{\boldsymbol{y}}} \end{array}} \right] $

(10)

式(10) 计算对应投影后的特征矢量及其特征组合，将组合后的特征用于模式分类。

RbCCA既满足了多表示数据的维数约减要求，保持了较好的识别率，又填补了传统CCA在噪声数据下特征表示能力差的缺陷，提升了CCA处理噪声数据的能力。

3 实验结果与分析

本实验的目的是验证本文所提算法RbCCA在噪声数据下特征提取的有效性，分别在多特征手写体数据集MFEAT和ORL以及Yale两个人脸数据库上进行了识别实验。其中λ的取值需根据噪声强度的大小进行调整。实验中均采取串行融合的策略进行特征融合，并选取最近邻分类器进行模式分类。

3.1 MFEAT手写体数据库

MFEAT手写体数据库一共包含fac、fou、kar、mor、pix、zer 6组特征，每组特征包含0~9共10个数字，每个数字类别包含200个样本。6组特征，每两组特征进行组合共15种组合，随机挑选其中的10种组合做10次随机实验，每次实验从每种组合中随机选择100个作为训练样本，100个作为测试样本。训练样本总数和测试样本总数均为1 000。实验开始前，在原始MFEAT数据库上，分别在6组特征加入10%的椒盐噪声来模拟实际应用中的噪声。

表 1随机抽取MFEAT数据库中10种特征组合，分别将CCA、PLS、LPCCA、RCCA以及RbCCA等算法做了对比实验。实验数据表明，RbCCA在这10种特征组合的识别率平均比CCA的识别率高出10%。在fac_fou、fou_zer以及mor_pix 3种组合里，RbCCA的识别更是高出CCA识别结果的15%以上。表 1初步证实了RbCCA对噪声数据特征提取的有效性。

图 1列出了添加噪声后的MFEAT数据中的fac_fou特征组合上CCA、PLS、LPCCA、RCCA以及RbCCA等算法的对比实验结果曲线图。通过图 1可以很明显看出，RbCCA的识别率远远高于其他算法。随着特征维度的增加，RCCA、LPCCA、CCA算法的识别率在逐渐下降，而RbCCA的识别率却呈上升趋势。这是由于随着特征维度增加，特征中包含的噪声也在增加，影响了RCCA、LPCCA、CCA的分类正确率。图 1表明RbCCA能够较好地提取噪声数据中图像的原始信息，针对噪声图像的分类识别效果优于其他4种算法。

3.2 ORL人脸数据库

ORL人脸数据库^[17]由剑桥大学AT & T实验室创建，包含40人共400张面部图像，每幅图像大小92×112像素，部分图像包括了姿态，表情和面部饰物的变化。图 2给出了ORL人脸库中某人的10张图像。

实验预处理阶段，每幅图像分别加入10%椒盐噪声模拟噪声分量。实验中，对于每一类，若无特别说明，均是随机选择5幅作为训练样本，其余5幅作为测试样本。

表 2、图 3分别列出了在选择不同训练样本数目和变化不同特征维度时，6组对比算法的识别效果。算法中RPCA+CCA是直接利用低秩分量来计算典型相关分析投影矢量的算法简称。

表 2的实验数据表明，随着训练样本数目的增加，几种算法的识别率均有不同程度的提升。对比RPCA+CCA和CCA的识别率，可以看出RPCA+CCA的识别效果优于CCA。这也从侧面说明了RPCA对于噪声的鲁棒性。

通过图 3可以看出，随着特征维度的增加，除RPCA+CCA和RbCCA之外的其余4种算法的识别率均呈下降趋势，这是由于随着特征维度的增加，抽取的特征中所包含的噪声成分也在增加，对识别效果产生了较大的影响。随着特征维度的增加，RPCA+CCA和RbPCCA的识别正确率均呈上升趋势，并且由于RbCCA模型利用到了噪声成分的信息，所以它的识别效果始终优于只利用低秩分量的RPCA+CCA的模型的识别效果。

图 4显示了随着数据样本所含噪声强度的增加，6种算法的识别率变化曲线图。在本次实验中，选取每类6个样本作为训练样本，其余4个样本作为测试样本。从图 4中可以看出，随着噪声强度的增加，6种算法的识别正确率均有不同程度的下降趋势。相对于其他算法，RbCCA识别率下降趋势较为平缓，并且噪声强度在2%~20%时，它的识别率始终保持在了92%以上。进一步证实了RbCCA对噪声具有很好的鲁棒性，能够很好地提取噪声数据的有效特征。

3.3 Yale数据库实验

Yale人脸数据库^[18-21]包含15个人的165幅灰度图像，每人11幅，包括光照方向(左、右和正面)、眼睛、表情变化(正常、愉快、悲伤、困乏、惊讶和眨眼)。图像大小为100像素×100像素。图 5是Yale人脸库中某人的11幅图像。

实验预处理阶段，对每幅图像分别加入10%椒盐噪声，实验中，对于每一类，若无特别说明，均是随机选择6幅作为训练样本，其余5幅作为测试样本。

表 3、图 6分别表示了在选择不同训练样本数目和变换不同特征维度时，6组对比算法的识别效果。表 3的实验数据进一步表明RbCCA对于噪声数据特征提取的有效性。

通过图 6可以看出，特征维数在10~40之间，随着特征维数的增加，6种算法的识别正确率均有不同程度的提升。从总体上看，RbCCA算法的识别率始终高于其他5种算法。特征维度大于40维之后，随着特征维度的增加，除RPCA+CCA和RbCCA之外的其余4种算法的识别率均呈下降趋势。RbCCA模型因为利用到了噪声成分的信息，所以它的识别效果始终优于只利用低秩成分的RPCA+CCA模型的识别效果。

图 7是针对不同噪声强度每种算法的识别率变化曲线图。本次实验中随机选取每一类的7个样本作为训练样本，其余4个作为测试样本。变化曲线表明，随着噪声强度的增加，6种算法的识别率均有不同程度的下降。从图中可以看出，随着噪声强度的增加，CCA识别率下降得最快，相比较来看，RPCA+CCA以及RbCCA的下降趋势相对平缓。虽然随着噪声强度的增加，RbCCA识别率稍有降低。但是噪声强度从2%~20%之间，它的识别率均在91%以上，远远优于其他5种算法的识别率。这也进一步表明了RbCCA对于噪声数据处理的有效性。

4 结束语

为了提升CCA噪声数据的处理能力，本文提出鲁棒典型相关分析算法(RbCCA)。RbCCA首先对两组特征进行低秩分解，从而分解得到低秩以及噪声分量。基于这两种分量，RbCCA构建出新的协方差矩阵。提出的准则函数能够最大化本质特征的相关性，同时最小化噪声的相关性，从而尽可能少地降低噪声对典型投影矢量的影响，增强投影矢量的鉴别能力。在MFEAT手写体、ORL和Yale人脸数据上的实验表明，相比于现有的CCA方法，RbCCA对噪声数据具有较强的鲁棒性，在模式分类任务中可以达到较好的识别率。

在实际应用方面，RbCCA中存在一些问题值得进一步研究。在低秩分解时参数λ的值对噪声强度大小以及特征维度的大小很敏感，需要调整参数λ的值才能达到较好的识别效果。如何建立一个参数选择标准或者函数关系，以适应不同范围的噪声强度以及特征维度还有待进一步研究论证。