迁移学习是机器学习领域的一个新方向，是对机器学习能力的一次拓展，具有很重要的研究价值。文献^[1]讨论了迁移学习的应用，现阶段研究进展及对未来迁移学习潜在的问题。文献^[2]推广了传统的AdaBoost算法，提出Tradaboosting迁移学习算法，该算法思想是利用boosting的技术来过滤掉辅助数据中那些与源训练数据最不相像的数据。其中boosting的作用是建立一种自动调整权重的机制，于是重要的辅助训练数据的权重将会增加，不重要的辅助训练数据的权重将会减小。调整权重之后，这些带权重的辅助训练数据将会作为额外的训练数据，与源训练数据一起来提高分类模型的可靠度。文献^[3]通过维数约简的思想，设法学习出一个低维隐特征空间，使得源域的数据和目标域的数据在该空间的分布相同或接近对方。文献^{[4, 5, 6, 7]}将协同学习、正则化、模糊理论等用于迁移学习，取得了很好的效果。文献^[8]同样提出了基于正则化的迁移学习模型，文献^[9]提出了图协同正则化的迁移学习。文献^[10]将迁移学习的思想用于广告显示。

前面对迁移学习的研究，大多是在源域的数据样本具体标签已知的假设下进行的。本文针对源域中不同类别的数据均值和目标域中少量有标签的数据已知的分类问题，以最小最大概率机分类算法模型为基础，提出TL-MPM算法，本算法最大的优点是并不知道源域的数据训练样本的具体标签，仅知道均值信息，从而减小了对标记源域的数据所需花费的代价。

假设x和y 为2维分类问题的2个随机变量 ,服从某种分布 x~($\bar x$,Σ_x)， y~($\bar y$,Σ_y)，这里 x,y∈R^d， Σ_x,Σ_y∈R^d×d，$\bar x$，$\bar y$，Σ_x，Σ_y分别为随机变量x和y的均值和方差。最小最大概率机实现分类的目的就是找到一个超平面a^T z－b=0，(a,z∈R^d,b∈R)^[11]，将2类样本在样本估计的均值和方差的前提下，按照最大概率分离 ,所以分类问题可以描述为

目标函数(3)为凸优化问题^[15]，假设求得最优解为a_*,对应k取得最小值k_*，此时(2)式中的不等号变为等号，可得

对于测试样本x^new，若a_*^Tx^new－b_*≥0则x^new为正样本；反之x^new为负样本。

样本映射到非线性：x φ(x)～(${\bar \varphi }$(x),Σ_φ(x))yφ (y)～(${\bar \varphi }$(y),Σ_φ(y))，这里 φ:R^dRⁿ，核函数可写为K(x_i,x_j)=φ(x_i)^Tφ(x_j)。核函数用于最小最大概率机，决策超平面写为 a^Tφ(z)－b=0，其中a,φ(z)∈Rⁿ。表达式(3)非线性形式为

如果a中有一分量正交于 φ(x_i)，i=1,2,…,N_x和 φ(y_i)，i=1,2,…,N_y的子空间，N_x、N_y分别为正负标记样本的个数，那么这个分量不会影响到目标函数的结果，因此可以将a写成

设γ=[α₁α₂…α_Nxβ₁β₂… β_Ny]， [K_x]_i=K(x_j, z_i)为核函数，[${\tilde k}$_x]_i=${1 \over {{N_x}}}\sum {_{j = 1}^{{N_x}}} $ K(x_j,z_i)，[${\tilde k}$_y]_i=${1 \over {{N_y}}}\sum {_{j = 1}^{{N_y}}} $ K(y_j,z _i)则约束条件可表示为

又假设1_m为m维全1列向量，且${\tilde K}$_x= K_x－1_Nx${\tilde k}$_x^T，同样形式${\tilde K}$_y=K_y－1 _Ny${\tilde k}$_y^T，其中i=1,2,…,N_x时z_i= x_i，i=N_x+1,…,N_x+N_y 时z_i=y _i-Nx，那么正负样本的协方差表达式可表示为

经过上面核化后，约束条件和协方差的表达式变为(7)式和(8)式的形式，带入a表示的 非线性表达式(5)式可得γ表示的非线性目标函数：

显然，与线性部分算法一致。当γ取最优解γ_*，对应k取得最小值k_*,可得

对于测试样本xnew，若 a*T φ(xnew)-b*=∑Nx+Nyi[γ*]i K(zi,xnew)≥0，则xnew为正样本;反之xnew为负样本。

实际问题中，有时候当前分类目标的标记样本并不充分，这样对于分类结果的预测会带来很大偏差。而当前分类目标往往和上一阶段的分类目标比较，既有新的变化，又具有某些类似的特性。比如超市不同季度的营业额、银行不同月份的贷款数、公司每个阶段的出货量、港务每年吞吐量等，一般情况每个阶段虽然有波动，不会有太大的偏差，但由于种种原因，上个阶段的样本信息，并不能完全得知；即使得知，也不能直接将所有信息用在当前阶段中，因为上一阶段的均值往往是易于得知，并且各个阶段数据均值波动基本很小。所以上一阶段均值是对当前阶段极为有用的信息。这样在当前阶段信息不充分的情况下可以充分利用上个阶段的均值信息进行迁移学习。

在最小最大概率机训练的过程中，如式(3)所描述的，通过最小化$\sqrt {{a^T}\sum {_xa} } $和$\sqrt {{a^T}\sum {_ya} } $a之和，使得样本在超平面所在空间分布为线性可分的形式，但在样本很少的情况下，协方差和均值并不能很好地代表整体的协方差和均值，那么训练出来的a值实际上并不是最优的。对于相关但不相同的数据，源域的数据和目标域的数据具有相似性，所以均值波动性并不大，可以预测目标域的数据均值与源域的数据均值或多或少是相近的，所以在训练过程中，可以利用源域的数据均值和目标域的数据均值实现数据迁移学习。在具体的实现中，是通过最小化源域的数据均值和目标域的数据均值在超平面所在空间的欧氏距离来实现的。假设源域的数据正负类样本的均值分别为${\bar x}$_s和${\bar y}$_s，目标域少量数据的样本的均值分别为${\bar x}$_t和${\bar y}$_t，可得超平面所在空间的均值之间的线性距离可以表示为

均值之间的非线性距离表示为

TL-MPM算法的理论依据是：若两个领域相关，源域的数据和目标域的数据在超平面所在空间的均值应相近。通过在MPM线性目标式(3)中增加 λL，非线性目标式(5)中增加λL_k实现两个域之间的迁移学习。加入迁移学习项后的线性目标函数可以写为

图 1 TL-MPM算法 Fig. 1 Flowchart of TL-MPM

图选项

为了更清晰地展示TL-MPM算法的作用原理及效果，在二维数据上做了线性算法的模拟实验。图 2为源域样本分布，横轴x表示样本的一维，纵轴y表示样本的二维，图中“×”表示目标域正样本，“+”号表示目标域负样本，菱形和正方形分别表示已知的目标域正样本和负样本，实心圆表示目标域正样本和负样本均值，空心圆表示源域正样本和负样本均值。虚线为目标域少量标记样本在MPM算法下得到的分类超平面，实线为TL-MPM算法下得到的分类超平面。

图 2 源域样本分布 Fig. 2 Source domain samples

图选项

由图 3可以明显看出，源域正负样本的均值和目标域样本的均值相差并不是很大。正是由于这种源域样本与目标域样本的相关性，经过源域的数据均值与目标域的数据均值的迁移学习，得到的目标域的分类超平面更为准确。

图 3 二维数据模拟实验 Fig. 3 Two-dimensional simulation experiment

图选项

由于分类超平面为a^T x－b=0，那么样本在超平面所在空间的分布可以写为f(x)=a^Tx－b，所以对线性迁移学习约束项中的前半部分可推导为

那么，基于最小最大概率机的迁移学习算法对应的线性迁移学习约束项有简单的形式：

最小化a^T Da等价于最小化$\sqrt {{a^T}Da} $，为了便于运算，在不影响结果的情况下，所以基于最小最大概率机的迁移学习算法可以化简成下面形式的目标函数：

具体求解过程见本文第4部分。由于加入了约束项，b_*的表达发生了变化。注意到引入项对正负类的贡献不同，用η(0≤η≤1)表示正类在整个样本中所占的比率。一般情况下η可设置为0.5，那么判别式可由下面公式推导求出：

核表示方式是将数据映射到高维空间来增加线性学习器的学习能力。通过选择恰当的核函数来替代内积，可以隐式地将训练数据非线性映射到高维空间。

对应于线性分布，f(φ(x))=a^Tφ(x)－b为样本在非线性超平面所在空间的分布，且a^Tφ(x)=γ^T${\tilde k}$_x，非线性迁移学习约束项的前半部分可以推导为

非线性迁移学习约束项的后半部分可推导为

那么，基于最小最大概率机的迁移学习算法对应的迁移学习线性约束项有简单的形式：

最小化γ^T Hγ等价于最小化 $\sqrt {{\gamma ^T}H\gamma } $，为了便于运算，在不影响结果的情况下，基于最小最大概率机的迁移学习算法可以化简成下面形式的目标函数：

显然非线性目标函数求解方法与线性一致。当γ取最优解γ_*时，对应k取得最小值k_*，求取b_*推理与线性部分类似，得到b_*的表达式为

对于测试样本xnew，若：a*Tφ(xnew)-b*=∑Nl+Nui[γ*]iK(zi, xnew)≥0,则xnew为正样本；反之xnew为负样本。

线性部分和非线性部分目标函数形式相同，都是非线性有约束优化问题，并且是凸优化问题。有好多方法可以选择^{[16, 17, 18]}，比如拟牛顿法，Rosen梯度投影法等，这里我们用递归最小二乘法对修正优化问题进行求解，下面只解析线性目标函数求解过程。

1)令a=a₀+Fv，F的列正交于 ${\bar x}$_t－ ${\bar y}$_t；

2)式(16)可写为

3)令a₀=( ${\bar x}$_t－ ${\bar y}$ _t)/‖${\bar x}$_t－ ${\bar y}$_t‖₂²，β₀=1，δ₀=1,ε₀=1并带入(18)得到最小二乘问题，求解得v₀;

4)k=1;

5)a_k=a_k－1+Fv_k－1，β_k=$\sqrt {a_{k - 1}^T\sum {_x} {a_{k - 1}}} $，δ_k= λ$\sqrt {a_{k - 1}^T\sum {_y} {a_{k - 1}}} $，ε_k=$\sqrt {a_{k - 1}^TD{a_{k - 1}}} $并带入(18)式求解得v_k;

6)k=k+1;

7)重复步骤5、6直到收敛或满足停止条件;

8)最后求得：a_*=a_k，k_*=1/(β_k+δ_k+ε_k), b_*=a_*^T${\bar x}$－k_*(β<sub>k+ηε_k)。

为了验证TL-MPM算法的有效性，在常用的真实数据集：20 News Groups数据集上进行实验。20 News Groups数据集的信息如表 1所示。

为了方便实验的描述，对实验中涉及的有关符号给出相应的定义，如表 2所示。

首先对数据集分成源域训练数据和目标域训练数据，具体的处理结果如表 3所示。

其次，由于20News Groups文本数据集的特征数很大，为了实验的方便，用主元分析法对数据集的特征做降维预处理，取前100维构成新的实验数据。

实验中取源域中的全部数据，分别取目标域中的1%、5%、10%的数据训练TL-MPM算法分类器和MPM算法分类器。在T-MPM和TL-MPM算法中的核函数都选取高斯核函数，参数σ在(0.001,0.01,0.1,1,10,100,1 000)中选取。TL-MPM算法中的参数在(0.001,0.01,0.1,1,10,100,1 000)中选取。对表 3处理好的6个真实分类数据集分别随机独立重复10次实验，选取最优参数下的取值，表 4、表 5和表 6分别记录了10次独立重复实验正确率的均值。

观察并比较表 4、表 5、表 6中T-LMPM和T-KMPM、LTL-MPM和KTL-MPM的列。发现T-KMPM在各数据集上的分类结果优于T-LMPM，KTL-MPM在各数据集上的分类结果优于LTL-MPM。说明该真实数据集是非线性的，线性分类方法有一定的局限性。另外，LTL-MPM在各数据集上的分类结果优于T-LMPM，KTL-MPM在各数据集上的分类结果优于T-KMPM，说明源域对目标域的分类起到了一定程度的作用。但提高的多少取决于两域相关性。注意到，在comp vs rec，comp vs sci，rec vs talk和rec vs sci四个数据集中，本文算法对实验结果有很大程度的提高，说明在这四类数据集上源域与目标域数据的相似性比较高。在comp vs talk数据集上提高程度很小，说明该数据集上源域和目标域相似度不高。在sci vs talk数据集上没有提高，反而下降，源域对目标域数据起了反作用，说明该数据集上源域和目标域相似度很低。

少量目标域训练样本上实验说明该真实数据集是非线性数据，线性算法并不能很好反应数据的分类情况，为了观察TL-MPM算法在样本变化时的有效性，实验中用其非线性算法训练分类器。实验中取源域中的全部数据，取目标域中的1%、5%、10%、20%、30%、40%、50%的数据训练KTL-MPM算法分类器，取目标域中的1%、5%、10%、20%、30%、40%、50%的数据训练T-KMPM算法分类器。其他设置同4.2节。图 4~9分别为6个数据集上的实验结果绘制的折线图。

图 4 comp vs rec分类精度变化 Fig. 4 Classification accuracy trends of comp vs rec

图选项

图 5 comp vs sci分类精度变化 Fig. 5 Classification accuracy trends of comp vs sci

图选项

图 6 comp vs talk分类精度变化 Fig. 6 Classification accuracy trends of comp vs talk

图选项

图 7 rec vs talk分类精度变化 Fig. 7 Classification accuracy trends of rec vs talk

图选项

图 8 rec vs sci分类精度变化 Fig. 8 Classification accuracy trends of rec vs sci

图选项

图 9 sci vs talk分类精度变化 Fig. 9 Classification accuracy trends of sci vs talk

图选项

观察发现，在目标域训练样本增加时，两种算法的精确度都有提高，在目标域训练样本量较少时(10%以内)，除sci vs talk数据集，其他数据集上KTL-MPM算法都好于T-KMPM算法，说明样本较少时，本文提出算法的优势很明显。在目标域训练样本增加到一定程度时，两算法的精度差距在逐渐缩小，最后几乎一致，甚至被T-KMPM算法反超，说明样本增大时，目标域的训练数据的信息越来越多，偏差越来越小，迁移过来的源域均值信息已经无法矫正该偏差，因为这个偏差已经小于了源域与目标域之间的偏差。这时迁移过来的源域均值信息甚至转化为了噪声信息，所以精确度反而变低。

另外，本文算法并没有增加算法的时间复杂度，分析算法部分可知，该算法线性部分的时间复杂度为O(kd³)，非线性部分的时间复杂度为O(kn³)，这是因为在最小二乘递归过程中需要求矩阵的逆，其中k为迭代次数，d、n分别为目标域训练样本的维数和个数。

本文针对目标域标记数据个数很少，而源于数据仅知道均值的背景下，提出了基于最小最大概率机的迁移学习分类算法，将源域的均值数据用来修正目标域因训练数据少而带来的分类偏差。实验表明，在目标域训练样本个数很少的情况下，取得了很好的效果，另外将最小最大概率机分类算法扩展到了迁移学习的领域。由于该算法仅利用了源域数据的均值信息，并不能从多方面挖数据的相似之处，这既是该算法的优点，也是本算法的不足之处。