随着信息量的大规模增长，如何高效地识别哪些信息与自己的兴趣相关变得越来越重要，这就产生了推荐系统，它可以通过帮助用户定位所需的物品有效地消除在线信息过载。电子商务平台、博客、电影网站、音乐软件、社交网站平台都不同程度上应用了推荐系统。此外，推荐系统还可应用于餐厅、酒店的选择以及基因识别治疗、金融服务等领域。

但是在提高推荐系统的推荐性能上面临许多挑战，随着数据量增长和信息量扩大，出现更多的用户和项目，用户对项目的评分矩阵变得越来越高维和稀疏，使得推荐系统的准确性下降。

目前比较成熟的推荐系统有2种，分别是协同过滤推荐和基于内容的推荐。协同过滤方法是基于用户的历史评分记录，假设具有相似历史评分的用户对于其他项目也会有相似的评分。主流的协同过滤推荐算法有以下几种：奇异值分解(singular value decomposition，SVD)算法^[1]是对用户对项目的评分矩阵进行矩阵分解，获得用户和项目的嵌入向量来进行推荐评分的预测；最近邻方法(K-nearest neighbor, KNN)^[2]是通过计算用户之间的相似度，根据相似用户对目标项目的评分来预测目标用户对目标项目的推荐评分；受限玻尔兹曼机(restricted Boltzmann machine, RBM)^[3]通过二值化的分析方法判断用户对项目喜欢或是不喜欢，之后通过分析项目间隐藏因子决定用户对其余项目喜欢或是不喜欢。

基于内容的推荐算法不需要依据用户对项目的评分数据，认为用户对项目的评分主要取决于项目自身特征(类型、功能等)，主要考察项目与用户偏好的匹配程度，根据历史信息提取用户偏好的属性特征，再计算用户偏好与项目特征的匹配度得到最终预测评分值。如Blano-Fernandez等^[4]通过比较项目内容和用户信息来推荐物品，这种推荐方法的优点是可以将新项目推荐给用户。但这种方法也面临着挑战，对每个用户建立档案需要进行预处理工作^[5]，对于新用户的推荐也难以实现，面临冷启动问题^[6]。

面对新用户或是新项目的冷启动问题仍是推荐算法面临的重大挑战，Park等^[7]在数据中加入特定特征的项目和用户来解决冷启动问题，Zhu等^[8]提出一种使用其他内容的辅助信息来提高推荐效果，但冷启动问题仍没有得到有效解决。而跨领域推荐算法迁移源域的信息来提高目标域的推荐性能对解决此问题和目标域数据稀疏的问题有着良好效果。CMF^[9]跨领域推荐算法是将2个领域的数据联合起来进行矩阵分解，通过共享用户或项目的中间变量来提高目标域的推荐效果。目前跨领域推荐比较主流的方法是CBT^[10]算法，通过将源域矩阵评分拓展为满秩后进行三分解，将分解的中间矩阵作为评分模式共享到目标域中来提高目标域的推荐性能。Ren等^[11]提出一种基于概率集群的跨领域推荐算法PCLF，假定每个用户和项目集群具有相同的效应，每个用户和项目的嵌入是用户属于不同集群的概率向量，通过源域中学习的概率分布迁移至目标域中来提升目标域推荐效果。

本文提出一种基于矩阵分解的跨领域推荐算法，不需要源域和目标域中的项目一致，通过对源域进行矩阵分解，得到用户效应。通过假定同一用户对于不同的项目有着类似的偏好，将源域中分解得到的用户效应迁移至目标域，并在目标域的分解中引入项目集群效应^[12]。在实际应用上，对于没有足够信息来进行推荐的新的项目类别，可以通过对应用户对其他项目的评分情况来提升新项目类别的推荐效果。

具体是假定同一个集群中的项目是相关的，不同集群中的项目是独立的，即来自同一集群的项目除了自身的项目效应外还有着相同的项目集群效应。具体操作是通过对源域进行矩阵分解，将分解得到的用户效应迁移至目标域中，并在目标域的矩阵分解中同时分解项目效应和项目中潜在的项目集群效应，以此来提高推荐性能。本文贡献在：通过使用源域信息和在目标域中考虑集群效应有效解决数据稀疏性问题；其次对于没有信息的新的项目，通过在目标域中的集群效应来提高预测准确性，有效解决冷启动问题。

1 模型与方法 1.1 新模型

此方法通过假定来自同一集群的项目除了自身的项目效应外还有着相同的项目集群效应。具体做法是在源域中进行矩阵分解，学习得到用户效应，将用户效应迁移至目标域，在目标域的矩阵分解中引入项目集群效应，将项目的影响解释为项目效应和项目集群效应的共同作用结果。

首先使用矩阵分解将用户对项目的评分矩阵分解成用户效应矩阵和项目效应矩阵。

$\boldsymbol{R}=\left(r_{u i}\right)_{n \times m}$为评分矩阵，$n$是用户数量，$m$是项目数量，$r_{u i}$是用户$u$对项目$i$的评分$(u=1$，$\cdots, n, i=1, \cdots, m)$，将其分解为如下形式

$\boldsymbol{R=P Q^{\prime}}.$

其中：$\boldsymbol{P}=\left(\boldsymbol{p}_{1}, \cdots, \boldsymbol{p}_{n}\right)^{\prime}$为$n \times k$维的用户效应矩阵，$\boldsymbol{p}_{i}$是用户$i$的$k$维的用户嵌入向量，$k$为预先设定的向量维数。同理，$\boldsymbol{Q}=\left(\boldsymbol{q}_{1}, \cdots, \boldsymbol{q}_{m}\right)^{\prime}$为$m \times k$维的项目效应矩阵，$\boldsymbol{q}_{j}$是项目$j$的$k$维项目嵌入向量。

预测评分

$\hat{r}_{u i}=\hat{\boldsymbol{p}}_{u}{ }^{\prime} \hat{\boldsymbol{q}}_{i} .$

(1)

$\hat{\boldsymbol{p}}_{u}$和$\hat{\boldsymbol{q}}_{i}$用交替最小二乘法进行估计，估计时使用L 2惩罚 ^[12]，不需要进行参数选择

$\hat{\boldsymbol{p}}_{u}=\underset{p_{u}}{\operatorname{argmin}} \sum\limits_{i \in I_{u}}\left(r_{u i}-\boldsymbol{p}_{u}{ }^{\prime} \boldsymbol{q}_{i}\right)^{2}+\lambda\left\|\boldsymbol{p}_{u}\right\|_{2}^{2},$

(2)

$\hat{\boldsymbol{q}}_{i}=\underset{q_{i}}{\operatorname{argmin}} \sum\limits_{u \in U_{i}}\left(r_{u i}-\boldsymbol{p}_{u}{ }^{\prime} \boldsymbol{q}_{i}\right)^{2}+\lambda\left\|\boldsymbol{q}_{i}\right\|_{2}^{2} .$

(3)

其中：I_u是所有用户u打过评分的项目集合，U_i是所有给项目i打过评分的用户集合。

在源域中使用上述方法进行分解，得到源域中的用户效应和项目效应，将得到的用户效应迁移至目标域中。

在目标域中，令$\phi_{u i}=E\left(r_{u i}\right)$为评分的期望，对$\phi_{u i}$做如下分解

$\phi_{u i}=\boldsymbol{p}_{u}^{\prime}\left(\boldsymbol{q}_{i}+\boldsymbol{c}_{j_{i}}\right) .$

(4)

其中：用户效应$\boldsymbol{p}_{u}$是分解源域得到的，$\boldsymbol{c}_{\boldsymbol{j}_{i}}$是$k$维的项目集群效应，来自第$j$个集群的项目$J_{j}=\{i$：$\left.j_{i}=j\right\}(j=1, \cdots, M), M$为项目集群数量，所有集群的项目数量和为项目总数$m$。

$\boldsymbol{C}=\left(\boldsymbol{c}_{1}, \cdots, \boldsymbol{c}_{M}\right)^{\prime}$为项目集群效应矩阵，$\boldsymbol{C}_{M \times k}$和$\boldsymbol{Q}_{m \times k}$维数不同，需要把矩阵$\boldsymbol{C}_{M \times k}$进行拓展，令

$\boldsymbol{C}_{r}=\left(\boldsymbol{c}_{1} \boldsymbol{\mathit{1}}_{{ }_{\mid J_{1}}^{\prime}}, \cdots, c_{M} \boldsymbol{\mathit{1}}^{\prime}{ }_{{ }_{J J M}}\right)^{\prime} .$

(5)

其中：$\boldsymbol{\mathit{1}}_{{ }_{1 J_{i} i}^{\prime}}$为集群$i$中项目个数维数的1向量。预测评分矩阵$\boldsymbol{\varPhi}=\left(\phi_{u i}\right)_{n \times m}$，可以得到预测评分的矩阵形式

$\boldsymbol{\varPhi}=\boldsymbol{P}\left(\boldsymbol{Q}+\boldsymbol{C}_{r}\right)^{\prime} .$

(6)

来自同一集群的项目是相互关联的，不同集群之间的项目是相互独立的。不同项目形成一个集群是源于它们相似的特征，评分的数量也是考虑因素之一，所以此模型不止通过汲取源域信息，也通过缺失有关的信息进行聚类，$\boldsymbol{c}_{j_{i}}$可用于对新项目的聚类，从这两方面解决冷启动问题，提升推荐效果。

1.2 参数估计

在目标域中需要估计的参数是$\boldsymbol{Q}$和$\boldsymbol{C}$，令$\boldsymbol{\varphi}$为向量化的$(\boldsymbol{Q}, \boldsymbol{C}), ~ \boldsymbol{O}$是所有有评分的用户一项目组合组成的集合，$R^{0}=\left\{r_{u i}:(u, i) \in O\right\}$，所以可以定义损失函数如下

$\begin{align*} & \mathcal{L}\left(\boldsymbol{\varphi} \mid R^{0}\right)=\sum\nolimits_{(u, i) \in O}\left(r_{u i}-\phi_{u i}\right)^{2}+ \\ & \lambda\left(\sum\nolimits_{i=i}^{m}\left\|\boldsymbol{q}_{i}\right\|_{2}^{2}+\sum\nolimits_{j=1}^{M}\left\|\boldsymbol{c}_{j}\right\|_{2}^{2}\right) . \end{align*}$

(7)

最小化损失函数来估计参数

$\hat{\boldsymbol{\varphi}}=\underset{\varphi}{\operatorname{argmin}} \mathcal{L}\left(\boldsymbol{\varphi} \mid R^{0}\right) .$

(8)

估计出参数后即可进行评分预测，按评分高低进行推荐

$\hat{\boldsymbol{\phi}}_{u i}=\boldsymbol{p}_{u}\left(\hat{\boldsymbol{q}}_{i}+\hat{\boldsymbol{c}}_{j_{i}}\right)$

(9)

使用最小二乘法即可估计出项目效应与项目集群效应，目标函数如下

$\begin{align*} & \underset{q_{i}, c_{j}}{\operatorname{argmin}} \sum\limits_{i \in J_{j}} \sum\limits_{u}\left(r_{u i}-\phi_{u i}\right)^{2}+ \\ & \lambda\left(\sum\limits_{i \in J_{j}}\left\|\boldsymbol{q}_{i}\right\|_{2}^{2}+\left\|\boldsymbol{c}_{j}\right\|_{2}^{2}\right) . \end{align*}$

(10)

对于每个项目集群J_j，估计参数

$\hat{\boldsymbol{q}}_{i}=\underset{q_{i}}{\operatorname{argmin}} \sum\nolimits_{u \in U_{i}}\left(r_{u i}-\phi_{u i}\right)^{2}+\lambda\left\|\boldsymbol{q}_{i}\right\|_{2}^{2},$

(11)

$\hat{\boldsymbol{c}}_{j}=\underset{c_{j}}{\operatorname{argmin}} \sum\nolimits_{i \in J_{j}} \sum\nolimits_{u \in U_{i}}\left(r_{u i}-\phi_{u i}\right)^{2}+\lambda\left\|\boldsymbol{c}_{j}\right\|_{2}^{2}.$

(12)

1.3 算法框架

算法主要分为2个步骤进行，第1步是分解源域，第2步是将得到的信息迁移至目标域进行矩阵分解。

算法框架如下：

步骤1：对源域进行矩阵分解 输入：源域的用户-项目评分数据 设置：     用户和项目的向量维数k；     最大迭代次数N1； 学习率l1和惩罚系数λ1 1：以随机数初始化用户效应矩阵P和项目效应矩阵Q 2：设置迭代次数s =1 3：s < N时 4：对每个用户$u=1, \cdots, n$，计算$\boldsymbol{p}_{u}^{s}$ 5：对每个项目$i=1, \cdots, m$，计算$\boldsymbol{q}_{i}^{s}$ 6：设置$\boldsymbol{P}^{s} \leftarrow \boldsymbol{P}^{s-1}, \boldsymbol{Q}^{s} \leftarrow \boldsymbol{Q}^{s-1}$ 输出：估计的$\hat{\boldsymbol{P}}$和$\hat{\boldsymbol{Q}}$ 步骤2：在目标域中使用引入集群效应的矩阵分解算法 输入：目目标域的用户-项目评分数据和步骤1得到的用户效应$\hat{\boldsymbol{P}}$ 设置：     最大迭代次数N2；     学习率l2和惩罚系数λ2；     终止条件x；     项目组数M 1：以随机数初始化项目效应矩阵Q和根据组数生成的项目集群效应矩阵C 2：估计$\hat{\boldsymbol{Q}}$和$\hat{\boldsymbol{C}}$ 3：设置迭代次数$s=1, s<N$时 4：设置$\boldsymbol{Q}^{s} \leftarrow \boldsymbol{Q}^{s-1}, \boldsymbol{C}^{s} \leftarrow \boldsymbol{C}^{s-1}$ 5：对每个项目$i=1, \cdots, m$，计算$\boldsymbol{q}_{i}^{s}$ 6：对每个项目集群$j=1, \cdots, M$，计算$\boldsymbol{c}_{j}^{s}$ 7：如果$\frac{1}{m k}\left\|\boldsymbol{Q}^{s_{\text {new }}}-\boldsymbol{Q}^{s}\right\|_{F}^{2}+\frac{1}{M k}\left\|\boldsymbol{C}^{s_{\text {new }}}-\boldsymbol{C}^{s}\right\|_{F}^{2}<x$或$s \geqslant N$则停止循环，否则设置$\boldsymbol{Q}^{s} \leftarrow \boldsymbol{Q}^{s_{\mathrm{new}}}, \boldsymbol{C}^{s} \leftarrow \boldsymbol{C}^{s_{\mathrm{new}}}, s \leftarrow s+1$并回到4 8：得到估计的$\hat{\boldsymbol{Q}}$和$\hat{\boldsymbol{C}}_{r}$，计算预测评分$\hat{\boldsymbol{\varPhi}}=\boldsymbol{P}\left(\hat{\boldsymbol{Q}}+\hat{\boldsymbol{C}}_{r}\right)$ 输出：预测评分$\hat{\boldsymbol{\varPhi}}$

在集群数量M是设定的参数，在参数选择上，不同集群数目对预测效果的影响十分微小，如果数据中存在类别的话可以根据现有类别进行分组，数据不存在类别可以根据项目的评分数量按项目个数均分对项目进行预分组^[13]。

2 实证与结果分析 2.1 实验数据与测评标准

实验使用的是MovieLens 100K数据^[14]，该数据集是由GroupLens Research收集的，此数据集包含943个用户对1 682部电影的100 000个评分，评分范围为1~5，评分充裕度为6.305 %。根据电影的热门程度即评分数量排序，将数据分为源域和目标域，评分较多的电影作为源域数据，评分较少的电影作为目标域数据，源域包含943个用户对841部电影的86 993个评分，评分充裕度为10.969 %，目标域包含898个用户对841部电影的评分，评分充裕度为1.722 %。

使用目标域的测试集上预测评分与真实评分的均方误差作为算法性能评价标准^[9]，展示预测评分与真实评分之间的误差

$\text { RMSE }=\sqrt{\frac{1}{n} \sum\limits_{u, i}\left(\hat{\phi}_{u i}-r_{u i}\right)^2} .$

(13)

其中n为目标域中测试集的评分个数。

2.2 算法性能与结果对比

将源域与目标域按照8∶2随机分为训练集与测试集，在选取不同向量维数的参数k下，各次迭代的RMSE结果如图 1所示。

在不同k下，算法的预测准确性均在迭代60次左右后趋于收敛，之后预测效果保持稳定，表现出良好的收敛性。

在选取循环终止条件x=10^-30时，不同k下的迭代次数如表 1所示。

在k的选择上，不论是RMSE值还是达到收敛的循环次数上，选择向量维数k=3均为最优，收敛后的RMSE =1.283 2。

不同集群数目M的选择对预测效果只会造成十分微小的影响，在选择向量维数k=3时，不同集群数目的实验结果如表 2所示。

在选择集群数目M为10时具有相对优异的推荐性能。

在算法对比上分别对比CBT跨领域推荐算法^[10]、基于集群分解的GSSVD算法^[12]和SVD算法^[1]。

CBT算法各次迭代的RMSE如图 2所示。

GSSVD算法各次迭代的RMSE如图 3所示。

SVD算法各次迭代的RMSE如图 4所示。

3种算法的性能情况如图所示，CBT算法在极多次迭代后预测效果震荡，但震荡幅度较小；GSSVD算法在迭代2次后预测效果极好，RSME达到1.226，但第3次迭代后就回升到1.883，但随着迭代次数增加预测效果缓慢下降后开始变差；SVD算法在迭代60次左右趋于平稳。

从收敛后的预测稳定性来看，本文提出的方法在收敛性上具有良好的性能。

除去欠拟合时预测效果不稳定，几种算法收敛后的RMSE和对应的迭代次数如表 3所示。

除收敛性外，在预测性能上本文提出的算法也有着比较优异的性能。

3 总结

现实中存在很多具有相似用户的评分数据，而项目在不同领域内却十分不同，对于这种情况的一个评分缺失较多的数据，只需找到一个具有相似用户的信息足够丰富的数据作为源域即可提高该域的推荐性能。

针对此情况，本文提出一种新的跨领域推荐方法，在源域中学习用户效应的基础上，将用户效应迁移至目标域，并在目标域的分解中引入项目集群效应从而提高推荐性能。与已有算法相比，它在算法的迭代次数收敛性、收敛后预测效果的稳定性和推荐性能上都有着比较优异的表现。