目前基于深度卷积神经网络^[1]的图像分类已取得很大进展，但需要大量标注的训练样本.因此，为提高分类模型的泛化性，减少对类标签的依赖，零样本^[2]图像识别已经成为计算机视觉领域的研究热点之一.近几年，国内外的学者已经提出许多零样本图像分类的方法.例如，Lampert等^[2]提出了基于语义属性的零样本学习；乔雪等^[3]引入相对属性的关联性和多任务学习来优化零样本分类模型；程玉虎等^[4]考虑到语义属性维度的局限性，将底层特征作为辅助信息.以上方法适用于小数据集，但对大规模数据集进行属性标注是困难的.于是，Socher等^[5]将语义向量视为迁移知识，但在学习迁移过程中存在领域漂移^[6]的问题，所以Kodirov等^[7]提出了基于语义自编码(SAE，semantic autoencoder)的零样本分类模型；Li等^[8]提出了一种联合语义空间流行结构和视觉特征空间的最优化模型；Zhang等^[9]使用多模融合实现端到端的零样本学习框架.

以上的零样本分类模型多数以语义词向量作为迁移知识，通过增加约束正则项来改善视觉空间到语义空间的映射，提高了分类精度，改善了领域漂移问题.但是，在语义空间中，零样本学习的分类推理阶段很少受到关注，使用固定的度量函数不利于对未知样本的预测.所以，笔者引入度量学习改善零样本分类模型(MLSAZC, metric learning for improving semantic autoencoder zero-shot classification).基本思想是利用图像的视觉特征和类标签的语义词向量，通过度量学习得到度量函数，同时转换原始的数据分布，进一步分离语义空间中的特征分布.

1 基于属性的零样本分类模型

在零样本图像分类的任务中，通常以属性作为已知类和未知类的中间层，现有的零样本分类模型主要包括直接属性预测(DAP, direct attribute prediction)和间接属性预测(IAP, indirect attribute prediction)^[2]，如图 1所示.

图 1中，X表示样本的底层特征，a=(a₁, a₂, …, a_k)表示训练类和测试类的共享属性层，Y=(y₁, y₂, …, y_k)和Z=(z₁, z₂, …, z_l)分别表示训练样本(已知类)和测试样本(未知类)的标签.该模型的主要思想是从(X, Y)学习的属性知识a=(a₁, a₂, …, a_k)迁移到未知类别，实现了类别边界的突破.属性层的定义虽然改善了模型的泛化能力，但仍需手工标注.目前大量的工作借助文本的语义信息^[10]实现零样本学习，真正意义地不依靠任何样本标签.

2 度量学习对SAE的零样本分类算法的改进

零样本图像分类的总体框架如图 2所示.首先利用深度卷积神经网络^[11]训练视觉模型，用于提取视觉特征，其中X_Y和X_Z分别表示已知类别和未知类别的视觉特征；然后采用自然语言模型学习类标签的语义词向量，S_Y是已知类别的语义特征；再利用SAE学习的映射矩阵W₁，将视觉特征映射到语义空间，实现多维数据的特征对齐；最后利用度量学习得到合适的度量函数，计算测试样本特征与语义真值的相似性，进而预测未知样本的标签，W₂是由度量学习获得的子空间的投影矩阵.

2.1 基于SAE的特征对齐

自编码是神经网络的一种，可通过增加约束项使模型能够学习到输入数据中有价值的特征.假设X_Y=(x₁, x₂, …, x_s)∈R^d×s表示训练样本的视觉特征，x_i为第i个样本的d维特征，利用映射矩阵W₁∈R^k×d将特征向量投影至k维浅层空间，其中k < d，再利用投影逆矩阵W₁^*∈R^d×k将其投影回原始特征空间，得到X′_Y=(x′₁, x′₂, …, x′_s)∈R^d×s.所以为了使重构误差值最小，自编码模型的目标函数可以定义为

$ \mathop {\min }\limits_{{\mathit{\boldsymbol{W}}_1},\mathit{\boldsymbol{W}}_1^ * } \left\| {{\mathit{\boldsymbol{X}}_Y} - \mathit{\boldsymbol{W}}_1^ * {\mathit{\boldsymbol{W}}_1}{\mathit{\boldsymbol{X}}_Y}} \right\|_{\rm{F}}^2 $

(1)

自编码器属于自监督学习，引入的SAE是在其基础上增加额外的监督信息. SAE的结构如图 3所示，使学习到的浅层空间为语义特征表示.用语义特征空间替换浅层空间表示为S_Y=(s₁, s₂, …, s_s)∈R^k×s，其中s_i表示表示第i个样本的语义词向量.于是，SAE的目标函数表示为

$ \mathop {\min }\limits_{{\mathit{\boldsymbol{W}}_1},\mathit{\boldsymbol{W}}_1^ * } \left\| {{\mathit{\boldsymbol{X}}_Y} - \mathit{\boldsymbol{W}}_1^ * {\mathit{\boldsymbol{W}}_1}{\mathit{\boldsymbol{X}}_Y}} \right\|_{\rm{F}}^2\;\;\;\;{\rm{s}}.\;{\rm{t}}.\;\;\;{\mathit{\boldsymbol{W}}_1}{\mathit{\boldsymbol{X}}_Y} = {\mathit{\boldsymbol{S}}_Y} $

(2)

令W₁^*=W₁^T，同时避免W₁X_Y=S_Y的强约束条件，目标函数可化简为

$ \mathop {\min }\limits_{{\mathit{\boldsymbol{W}}_1}} \left\| {{\mathit{\boldsymbol{X}}_Y} - \mathit{\boldsymbol{W}}_1^{\rm{T}}{\mathit{\boldsymbol{W}}_1}{\mathit{\boldsymbol{X}}_Y}} \right\|_{\rm{F}}^2 + \lambda \left\| {{\mathit{\boldsymbol{W}}_1}{\mathit{\boldsymbol{X}}_Y} - {\mathit{\boldsymbol{S}}_Y}} \right\| $

(3)

其中λ为权重系数，且目标函数为凸函数，具有全局最优解.对式(3)求导，并由矩阵的迹性质可得

$ {\mathit{\boldsymbol{S}}_Y}\mathit{\boldsymbol{S}}_Y^{\rm{T}}{\mathit{\boldsymbol{W}}_1} + \lambda {\mathit{\boldsymbol{W}}_1}{\mathit{\boldsymbol{X}}_Y}\mathit{\boldsymbol{X}}_Y^{\rm{T}} = {\mathit{\boldsymbol{S}}_Y}\mathit{\boldsymbol{X}}_Y^{\rm{T}} + \lambda {\mathit{\boldsymbol{S}}_Y}\mathit{\boldsymbol{X}}_Y^{\rm{T}} $

(4)

令A=S_YS_Y^T、B=λW₁X_YX_Y^T和C=(1+λ)×S_YX_Y^T，将式(4)化简为Sylvester等式，如式(5)所示.最后用Bartels-Stewar算法解得优化的映射矩阵W₁.

$ \mathit{\boldsymbol{A}}{\mathit{\boldsymbol{W}}_1} + {\mathit{\boldsymbol{W}}_1}\mathit{\boldsymbol{B}} = \mathit{\boldsymbol{C}} $

(5)

2.2 交叉二次判别分析的度量学习算法

度量学习的根本动机是通过语义-视觉特征对儿学习最优的度量函数，进一步分离语义空间中的特征分布.度量学习的过程如图 4所示.

目前基于马氏距离函数的度量学习已广泛应用于计算机视觉，与欧氏距离和余弦相似度不同，马氏距离考虑了每个特征之间的关系.一般地，假设数据点p=(p₁, p₂, …, p_k)和q=(q₁, q₂, …, q_k)，马氏距离函数表示为

$ d\left( {\mathit{\boldsymbol{p}},\mathit{\boldsymbol{q}}} \right) = {\left( {\mathit{\boldsymbol{p}} - \mathit{\boldsymbol{q}}} \right)^{\rm{T}}}\mathit{\boldsymbol{M}}\left( {\mathit{\boldsymbol{p}} - \mathit{\boldsymbol{q}}} \right) $

(6)

其中M为半正定矩阵，所以度量学习其实是对M的学习.

针对语义-视觉特征对儿，引入交叉二次判别分析(XQDA, cross-view quadratic discriminant analysis)算法^[12]，该算法对Bayesian Face^[13]和KissMe进行了拓展，主要学习子空间W₂=(w₁, w₂, …, w_r)∈R^k×r，同时在r维空间学习距离函数.

假设训练集(S′_Y, S_Y)，其中S′_Y=(s′₁, s′₂, …, s′_s)是视觉特征在语义空间的特征表示，S_Y=(s₁, s₂, …, s_s)表示已知类的迁移知识，即类标签在语义空间的语义特征表示.由XQDA算法定义样本特征差Δ_ij=s′_i－s_j，如果2个样本相同，Δ_ij称为内省差；反之为外省差. Moghaddam等^[13]提出2个变量均服从多元高斯分布Ω_I和Ω_E，且均值为零，与二者对应的协方差矩阵分别表示为Σ_I和Σ_E.于是，针对符合零均值高斯分布的数据特征，2个样本的距离函数可以表示为

$ {\rm{Dist}}\left( {\mathit{\boldsymbol{s'}},\mathit{\boldsymbol{s}}} \right) = {\left( {\mathit{\boldsymbol{s'}} - \mathit{\boldsymbol{s}}} \right)^{\rm{T}}}{\mathit{\boldsymbol{W}}_2}\left( {\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_I^{ - 1} - \mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_E^{ - 1}} \right)\mathit{\boldsymbol{W}}_2^{\rm{T}}\left( {\mathit{\boldsymbol{s'}} - \mathit{\boldsymbol{s}}} \right) $

(7)

在上述距离函数中，XQDA算法主要学习核函数M(W₂)=W₂(Σ_I^－1－Σ_E^－1)W₂^T.对于逆矩阵等式的优化，算法很难求解.参考文献[13]的处理方法，Ω_I和Ω_E的均值为零，投影后的样本均值仍为零，但产生不同的方差，可用于区分两类.为了求最优矩阵W₂，核函数的目标函数可以定义为

$ J\left( \mathit{\boldsymbol{w}} \right) = \frac{{{\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_E}\mathit{\boldsymbol{w}}}}{{{\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_I}\mathit{\boldsymbol{w}}}} $

(8)

要使J(w)的值最大，将式(8)等价为

$ \mathop {\max }\limits_\mathit{\boldsymbol{w}} {\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_E}\mathit{\boldsymbol{w}}\;{\rm{s}}.\;{\rm{t}}.\;{\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_I}\mathit{\boldsymbol{w}} = 1 $

(9)

其中：Σ_I^－1Σ_E的最大特征值即为J(w)的最大值，与最大特征值对应的特征向量即为式(9)的w₁解；J(w)的第2大的值对应Σ_I^－1Σ_E的第2大特征向量，以此类推，可以得到式(7)中定义的子空间W₂=(w₁, w₂, …, w_r)，同时得到该空间的马氏距离函数.

2.3 基于度量学习改进的零样本图像分类

定义Y=(y₁, y₂, …, y_s)和Z=(z₁, z₂, …, z_u)分别为已知类s和未知类u的类别标签，且Y∩Z=Ø，S_Y=(s₁, s₂, …, s_s)∈R^k×s和S_Y=(s₁, s₂, …, s_u)∈R^k×u分别表示已知类和未知类的语义特征.零样本学习的目的是得到一个分类器f:X_z→Z，预测未知类别的标签，X_z={(x_i, z_i, s_i)}是测试数据，x_i是第i个未知样本的视觉特征，z_i和s_i是未知的.

在测试阶段，通过训练样本得到映射矩阵W₁和度量函数Dist(·)，分别用2个投影方向预测未知样本的标签.

1) 视觉空间—语义空间

测试样本的视觉特征x_i∈X_z经s′_i=W₁x_i嵌入到语义空间，然后利用XQDA算法学习的最优度量函数估计s′_i和语义真值的距离，使式(10)取最小值的类标签赋给x_i.

$ \mathit{\Phi }\left( {{\mathit{\boldsymbol{x}}_i}} \right) = \mathop {\arg \min }\limits_{{z_j}} {\rm{Dist}}\left( {{{\mathit{\boldsymbol{s'}}}_i},{\mathit{\boldsymbol{S}}_{zj}}} \right),\;\;\;i,j = 1,2, \cdots ,u $

(10)

其中：S_zj为第j个未知类的语义真值向量，Dist(·)是由度量学习得到的马氏距离函数.所以，使距离取最小值的z_j为测试样本x_i的类别标签.

2) 语义空间—视觉空间

利用解码投影矩阵W₁^T，将测试样本的语义特征s_i∈S_Y经x′_i=W₁^Ts_i嵌入视觉空间，然后利用相同的度量函数预测未知样本的标签，可表示为

$ \mathit{\Phi }\left( {{\mathit{\boldsymbol{s}}_i}} \right) = \mathop {\arg \min }\limits_{{z_j}} {\rm{Dist}}\left( {{{\mathit{\boldsymbol{x'}}}_i},{\mathit{\boldsymbol{X}}_{zj}}} \right),\;\;\;i,j = 1,2, \cdots ,u $

(11)

其中X_zj为第j个未知类的视觉特征真值.所以，使得距离取最小值的z_j为测试样本s_i的标签.

3 实验仿真及分析 3.1 实验数据集

本实验选择动物属性(AWA, animals with attributes)数据集^[7]、CUN-200-011 Birds(CUB)数据集^[7]和ImageNet-2(ImNet-2)数据集^[7]，前两者为小型数据集，第3者为大规模数据集，可以充分验证算法的有效性.

AWA数据集有30 475张图片，共50类，其中40类作为已知类，其余10类视为未知类，为满足零样本学习的要求，确保训练集与测试集无交集；CUB数据集分割为150个已知类和50个未知类，共11 788个样本；ImNet-2数据集共有218 000张图片，其中1 000类作为已知类，360类视为未知类.数据集的描述如表 1所示.

在AWA和CUB数据集中，使语义属性作为迁移知识，对每个样本定义85维和312维属性特征；在ImNet-2数据集中，通过word2vec的skip-gram模型，把类标签映射到语义空间，表示为1 000维的语义词向量.由于深度卷积神经网络的泛化能力，在零样本学习中，视觉特征通常利用卷积神经网络提取，本实验采取Googlenet提取的1 024维视觉特征^[7].

3.2 实验过程分析

本实验验证了MLSAZC模型的分类效果，并与SAE模型做比较.每个数据集分别进行10次分类实验，每次实验随机选择训练样本和测试样本.在训练阶段，采取交叉验证确定SAE模型的最优超参数λ. 图 5给出了零样本分类模型随λ变化的准确率曲线，分别取λ={5, 50, 500, 5 000, 50 000, 500 000}.

由图 5可以看出，当λ为50万时，模型的识别准确率最高.

在训练阶段，根据训练样本得到SAE模型和距离度量函数；在测试阶段，首先利用SAE模型将测试样本的视觉特征映射到语义空间，再利用度量函数估计输入样本与语义真值的相似度，距离越小说明相似度越大，最终使距离最小的类标签赋给测试样本.

3.3 分类性能比较分析

在分类任务中，特征表示会影响分类结果，具有表示的特征会取得更高的识别准确率. SAE模型能够学习到更好的特征表示，再利用度量学习可以进一步改善学习到的特征.于是，利用可视化分析视觉特征在语义空间中的分布情况.

对比图 6(a)和(b)可知，原始视觉特征经过SAE算法映射到语义空间后，相同类别的特征分布变得紧凑.经过度量学习的特征分布如图 6(c)所示，类别间的距离更大，有利于通过距离估计未知样本的类别标签.

在语义联合嵌入空间中，类标签的语义词向量分布如图 7所示.未知样本的视觉特征紧紧围绕着对应类别的语义词向量，根据二者的距离预测未知样本的类别.由图 7可得出，猪和河马的语义词向量近距离分布，相应视觉特征的分布也相对混淆，有可能对分类结果产生干扰.

表 2所示为现有的零样本学习方法在AWA和CUB数据集上的比较.可以看出，度量学习进一步改善了基于SAE的零样本分类算法，在AWA数据集上的准确率可以提高10%左右，在CUB数据集上的准确率也提高了3%左右.由表 3可以看出，在大型ImNet-2数据集中准确率同样提高了5%左右.

MLSAZC模型中的编码和解码映射函数——MLSAZC(W)和MLSAZC(W^T)分别表示视觉—语义特征的映射方向和语义—视觉特征的映射方向.在AWA和CUB数据集上证实了零样本学习中存在的枢纽问题.由表 2得出，与视觉—语义特征的映射方向相比，语义—视觉特征的映射方向的分类准确率要高出3%~10%.

分类的准确率能够反映正确分类的样本数与测试样本总数的关系，不能直观地反映误判的样本数，因此实验中引入混淆矩阵，评估零样本分类模型.以AWA数据集为例，从视觉空间投影到语义空间，SAE模型和MLSAZC模型的混淆矩阵如图 8所示.在混淆矩阵中，类别ID分别为[25, 39, 15, 6, 42, 14, 18, 48, 34, 24]，样本被正确分类的准确率通过主对角线上的方框表示，颜色越深表示该类样本正确分类的数量越多.

从图 8(b)中可以得出，类别42较多地被错分为14号，分别表示猪和河马，这也证实了相近的语义词向量会对相似度的估计产生干扰.

4 结束语

针对余弦相似度和欧氏距离等度量方式的局限性，提出了基于度量学习改善SAE的零样本分类算法.首先利用SAE对视觉特征和语义特征构建联合嵌入空间，然后通过度量学习得到距离度量函数.实验结果表明，该方法进一步改善了嵌入空间的特征分布，提高了零样本分类的准确率，缓解了跨领域漂移.目前，零样本分类模型只在小型数据集中取得了明显的改善，但是在大型数据集中，由于把语义词向量作为迁移知识，其提取的方法或结果会直接影响零样本分类模型的效果.因此，下一步将致力于提高大型数据集零样本分类的准确率.