许多在线服务平台(如音乐、视频网站)中，用户产生的行为是带有时间属性的.因此，会话型推荐系统将用户在一段时间内产生的一组行为序列称为会话(session)^[1].近年来，会话型推荐研究^[1-4]受到了广泛的关注.事实上，用户的兴趣在时间维度上是多尺度、动态变化的^[5].举例来说，一个长期喜欢流行音乐(长期兴趣)的用户，在短期内也会收听一些感兴趣的乡村音乐(短期兴趣)，或连续几天都收听喜欢的乡村音乐歌手的多个专辑(中期兴趣).短期兴趣描述了用户短时间内产生的兴趣变化，常用基于会话级的会话行为序列来建模^[1-5].长期兴趣是指用户长期、较为固定的偏好，常用基于用户级的用户所有历史数据进行建模^[5-8].而中期兴趣是短期兴趣向长期兴趣的过渡，存在于具有相似主题的连续会话中用区块(block)的概念进行描述，并用于建模中期兴趣.

但现有大部分研究主要关注长期兴趣^[7]、短期兴趣^[1-4]或两者的简单结合^{[6, 8]}.关注长期兴趣的方法主要利用所有历史行为数据建立项目—项目相似性矩阵进行推荐^[7].这些方法虽然有效，但忽略了时序关联.为了进一步引入时序信息，一些研究开始关注短期兴趣. Barkan等^[2]提出item2vec方法，将用户行为序列类比于词序列进行建模. Ludewig等^[1]提出基于会话的k-近邻方法(SKNN, session-based k-nearest neighbor)，为序列中不同位置的点击记录添加时序权重.另外，基于循环神经网络(RNN, recurrent neural network)的方法也开始应用到会话型推荐的研究^[3-4]中.原因在于RNN在建模变长的时序数据方面出色的表现.为了进一步提升推荐性能，一些研究开始将长期兴趣和短期兴趣结合起来. Quadrana等^[6]设计了一个两层RNN模型来联合建模用户的长短期兴趣. Jannach等^[8]将SKNN与RNN相结合，以共同捕捉基于长短期兴趣的时序信息.实际上，以上研究都忽略了中期兴趣，因而难以学习到连续会话序列内的关联.因此提出引入中期兴趣的概念，通过建模用户的区块行为，来捕捉用户在相邻会话间的动态兴趣变化.此外，用户产生的每个行为都是长中短期兴趣共同作用的结果.因此，如何合理地融合这3种兴趣信息对于推荐性能的提升十分关键.

为了完整刻画用户兴趣，提出了一个基于RNN的个性化分层循环模型(PHRM, personalized hierarchical recurrent model)，利用会话、区块和全部行为序列从会话级、区块级和用户级3个层次联合建模用户短期、中期和长期兴趣，并引入带有多个交互机制的融合层，以捕捉跨层信息间的复杂交互模式.实验表明，利用该模型能有效提升推荐性能.

1 个性化分层循环模型

为了捕捉用户兴趣中的多尺度动态性，提出PHRM模型.具体地，该模型分别建立会话级RNN、区块级RNN和用户级RNN来学习用户的短期、中期和长期兴趣.为了克服传统RNN的梯度消失问题，利用基于门控循环单元(GRU, gated recurrent unit)^[9]的RNN来建模用户的行为序列，并采用符号GRU_ses、GRU_blo和GRU_usr来分别表示会话级、区块级和用户级的RNN. 图 1所示为按时间展开的PHRM模型. GRU_ses、GRU_blo和GRU_usr每一时刻的输出状态分别是当前时刻的会话表示、区块表示和用户表示.为了提升模型学习效率，GRU_ses和GRU_blo的初始状态分别利用前一时刻的区块表示和用户表示来进行初始化.每一时刻，GRU_ses通过输入用户点击的项目ID、区块表示和用户表示以建模会话内序列的关联细节；当一个会话序列传输结束时，GRU_blo才会利用会话表示和用户表示进行更新，捕捉相邻会话的关联信息；当一个区块序列传输结束时，GRU_usr利用会话表示和区块表示进行更新，以建模用户的全局兴趣演化；另外，借鉴乘积神经网络^[10]的思想，在每一级RNN前各增加一个融合层以捕捉输入信息间的交互模式.最后，模型联合利用会话表示、区块表示和用户表示一起预测用户下一时刻的点击行为.

1.1 问题描述

将个性化会话型推荐系统中用户的集合定义为U={u₁, u₂, …, u_J}，项目集合定义为I={i₁, i₂, …, i_K}，其中J和K分别为用户和项目总数.每一个用户u都对应着一系列的行为序列C^u={B₁^u, B₂^u, …, B^u_Lu}，即按时间排列的区块序列.其中每个区块B_l^u={S_{l, 1}^u, S_{l, 2}^u, …, S_{l, Ml}^u}都是由一系列会话组成. L_u和M_l分别是用户u产生的区块和会话总数. S_{l, m}^u={i_{l, m, 1}^u, i_{l, m, 2}^u, …, i_{l, m, Nm}^u}代表用户u的第l个区块中的第m个会话.为了简化符号，在之后的描述中将省略符号中的上标u.

基于以上符号和描述，要解决问题是：给出用户的历史行为序列∪_uC^u，设计一个为用户推荐感兴趣的下一个项目的个性化推荐模型.

定义GRU_ses中会话表示为{s_{l, m, n}|l=1, …, L_u-1, m=1, …, M_l-1, n=0, …, N_m-1}. s_{l, m}=s_{l, m, Nm-1}为GRU_ses中会话S_{l, m}的最后一个隐藏状态，s_l=s_{l, Ml-1, Nm-1}代表区块B_l中最后一个会话的最后一个隐藏状态，s_{l, m}和s_l后续分别用来更新GRU_blo和GRU_usr中的表示.相似地，定义GRU_blo中区块的表示为{b_{l, m}|l=1, …, L_u-1, m=0, …, M_l-1}，b_l=b_{l, Ml-1}为区块中最后一个会话S_{l, Ml-1}结束时GRU_blo的隐藏状态，b_l和b_{l, m}分别为GRU_usr和GRU_ses补充局部区块信息. GRU_usr中用户的表示为{a_l|l=0, …, L_u-1}，a=a_Lu-1是最后一个区块B_Lu结束时GRU_usr的隐藏状态，可以为GRU_ses和GRU_blo的学习提供全局的指导.

1.2 会话级RNN

使用区块级和用户级RNN的信息来共同初始化GRU_ses的隐藏状态，以代替传统的随机初始化设置.基于给出的区块表示b_{l, m-1}和用户表示a_l-1，可以得到GRU_ses中会话的初始隐藏状态为

$ {\mathit{\boldsymbol{s}}_{l,m,0}} = {\rm{Tanh}}\left( {\mathit{\boldsymbol{W}}_{{\text{ini}}{{\text{t}}_{\text{b}}}}^s{\mathit{\boldsymbol{b}}_{l,m - 1}} + \mathit{\boldsymbol{W}}_{{\text{ini}}{{\text{t}}_{\text{a}}}}^s{\mathit{\boldsymbol{a}}_{l - 1}} + \mathit{\boldsymbol{b}}_{\rm init}^s} \right) $

(1)

其中W_initb^s、W_inita^s和b_init^s是GRU_ses的初始化权重和偏置. Tanh为非线性函数.通过初始化，同一区块中的中期兴趣信息与历史行为序列中的长期兴趣信息都能够传递到GRU_ses的状态中.

在会话型推荐研究^{[3, 6]}中，项目ID用one-hot表示进行编码的性能往往优于基于嵌入层的表示方法.所以此处使用one-hot编码来表示输入的项目ID.为了进一步融合来自GRU_blo和GRU_usr的先验信息，在GRU_ses中加入一个融合层来探索区块表示b_{l, m-1}和用户表示a_l-1与输入项目之间的复杂交互模式，并设计了3种融合方式θ_s：基于连接的方式θ_s(i_{l, m, n}, b_{l, m-1}, a_l-1)=[i_{l, m, n}, b_{l, m-1}, a_l-1]；基于乘积的方式θ_s(i_{l, m, n}, b_{l, m-1}, a_l-1)=[i_{l, m, n}, b_{l, m-1}⊙ a_l-1]；基于连接和乘积的方式θ_s(i_{l, m, n}, b_{l, m-1}, a_l-1)=[i_{l, m, n}, b_{l, m-1}, a_l-1, b_{l, m-1}⊙a_l-1].其中，i_{l, m, n}是当前项目ID的one-hot编码，n=1, …, N_m-1，[·]表示向量的连接，⊙为hadamard乘积.基于连接的方式，假设输入项目、区块表示和用户表示彼此独立，将不同层次的信息直接进行连接.而基于乘积的方式假设信息之间存在紧密的关联，因此可通过乘积的方式捕捉不同层次信息的交互模式.而基于连接和乘积的方式能够中和以上2种假设，更合理地融合不同的信息.基于以上融合策略，构建GRU_ses中融合层为

$ {F_s} = {\rm{Tanh}}\left( {\mathit{\boldsymbol{W}}_f^s{\theta _s}\left( {{\mathit{\boldsymbol{i}}_{l,m,n}},{\mathit{\boldsymbol{b}}_{l,m - 1}},{\mathit{\boldsymbol{a}}_{l - 1}}} \right) + \mathit{\boldsymbol{b}}_f^s} \right) $

(2)

其中W_f^s和b_f^s是F_s的融合权重和偏置.

最后，基于融合层中GRU_blo和GRU_usr的先验信息，GRU_ses中会话表示的更新为

$ {\mathit{\boldsymbol{s}}_{l,m,n}} = {\text{GR}}{{\text{U}}_{{\text{ses}}}}\left( {{F_s},{\mathit{\boldsymbol{s}}_{l,m,n - 1}}} \right) $

(3)

其中GRU_ses代表会话级RNN中GRU单元^[10].通过更新，会话级RNN能够获得前一时刻状态的同时，也可补充来自融合层的中期和长期信息.

1.3 区块级RNN

给出用户表示a_l-1，GRU_blo的区块初始状态为

$ {\mathit{\boldsymbol{b}}_{l,0}} = {\text{Tanh}}\left( {\mathit{\boldsymbol{W}}_{{\text{init}}}^b{\mathit{\boldsymbol{a}}_{l - 1}} + \mathit{\boldsymbol{b}}_{{\text{init}}}^b} \right) $

(4)

用户的长期偏好信息通过初始化传入GRU_blo中. GRU_ses中的会话表示s_{l, m}能够提供行为序列中的细节信息，而GRU_usr中的用户表示a_l-1可以提供行为序列中的全局信息.为了有效地融合这2种信息，并更新GRU_blo的区块表示，在GRU_blo中也加入了融合层，并设计了3种融合方式θ_b，分别为基于连接的方式：θ_b(s_{l, m}, a_l-1)=[s_{l, m}, a_l-1]；基于乘积的方式θ_b(s_{l, m}, a_l-1)=[s_{l, m}⊙a_l-1]；基于连接和乘积的方式θ_b(s_{l, m}, a_l-1)=[s_{l, m}, a_l-1, s_{l, m}⊙a_l-1].基于以上融合机制，GRU_blo的融合层构建为

$ {F_b} = {\rm{Tanh}}\left( {\mathit{\boldsymbol{W}}_f^b{\theta _b}\left( {{\mathit{\boldsymbol{s}}_{l,m}},{\mathit{\boldsymbol{a}}_{l - 1}}} \right) + \mathit{\boldsymbol{b}}_f^b} \right) $

(5)

最后，基于来自融合层的GRU_ses和GRU_usr的信息，区块表示的更新为

$ {\mathit{\boldsymbol{b}}_{l,m}} = {\text{GR}}{{\text{U}}_{{\text{blo}}}}\left( {{F_b},{\mathit{\boldsymbol{b}}_{l,m - 1}}} \right) $

(6)

GRU_blo的输入与GRU_ses中会话的最后一个隐藏状态和GRU_usr的前一个区块的隐藏状态相连.因此，GRU_blo既可以通过建模区块内相邻会话的动态性来追踪中期兴趣的演化，又可以通过融合层补充来自其他区块的全局信息和会话内的细节信息.

1.4 用户级RNN

为了融合GRU_ses和GRU_blo中的细节和局部信息以辅助更新用户的表示，在GRU_usr加入一个融合层，并设计了3种融合方式θ_u：基于连接的方式θ_u(s_l, b_l)=[s_l, b_l]；基于乘积的方式θ_u(s_l, b_l)=[s_l⊙b_l]；基于连接和乘积的方式θ_u(s_l, b_l)=[s_l, b_l, s_l⊙b_l]. GRU_usr的融合层构建为

$ {F_u} = {\rm{Tanh}}\left( {\mathit{\boldsymbol{W}}_f^u{\theta _u}\left( {{\mathit{\boldsymbol{s}}_l},{\mathit{\boldsymbol{b}}_l}} \right) + \mathit{\boldsymbol{b}}_f^u} \right) $

(7)

基于以上的跨层融合信息，用户的表示更新为

$ {\mathit{\boldsymbol{a}}_l} = {\text{GR}}{{\text{U}}_{{\text{usr}}}}\left( {{\mathit{\boldsymbol{F}}_u},{\mathit{\boldsymbol{a}}_{l - 1}}} \right) $

(8)

其中a₀初始化为零向量. GRU_usr通过建模整个行为序列中的全局动态性来捕捉用户的长期兴趣，同时利用融合层的输入信息补充来自会话级RNN的细节信息和区块级RNN的局部信息.

1.5 目标函数

由于贝叶斯个性化最大排序函数(BPR-max, bayesian personalized ranking-max)^[4]能够解决会话型推荐研究中随着采样数增大而产生梯度消失的问题，所以基于BPR-max来构建目标函数. BPR-max的优化目标是最小化目标得分高于最大样本得分($r_{\max }=\max\limits _{j} r_{j}$)的负对数概率：

$ \begin{array}{*{20}{c}} {{L_0} = - \log p\left( {{r_i} > {r_{\max }}} \right) = } \\ { - \log \sum\limits_{j = 1}^N p \left( {{r_i} > {r_j}|{r_j} = {r_{\max }}} \right)p\left( {{r_j} = {r_{\max }}} \right) = } \\ { - \log \sum\limits_{j = 1}^N o \left( {{r_j}} \right)\sigma \left( {{r_i} - {r_j}} \right) + \lambda o\left( {{r_j}} \right)r_j^2} \end{array} $

(9)

其中：i为目标项目，j为从项目集合中随机采样的负样本；由于p(r_i>r_j)和p(r_j=r_max)的非连续性，通过σ(r_i-r_j)和o(r_j)= $\frac{e^{r_{j}}}{\sum\limits_{k=1}^{N} e^{r_{k}}}$进行近似处理；N为负样本的集合；r_i和r_j为模型给出的对项目i和j的推荐得分；最后一项为正则化项；λ为正则化的权重.最终的推荐得分由会话级、区块级和用户级的信息共同决定：

$ {r_n} = r_n^s + \beta r_n^b + \alpha r_n^u $

(10)

其中：r_n^s=f(s_{l, m, n})，r_n^b=f(b_{l, m})，r_n^u=f(a_l)，f(·)为指数线性单元；β和α为调节区块级和用户级信息比例的权重.最小化最终的损失函数为

$ \begin{array}{*{20}{c}} {L = - \log \sum\limits_{j = 1}^N o \left( {r_j^s} \right)\sigma \left( {r_i^s - r_j^s} \right) + \lambda o\left( {r_j^s} \right)r_j^{s2} + } \\ {\beta \left[ { - \log \sum\limits_{j = 1}^N o \left( {r_j^b} \right)\sigma \left( {r_i^b - r_j^b} \right) + \lambda o\left( {r_j^b} \right)r_j^{b2}} \right] + } \\ {\alpha \left[ { - \log \sum\limits_{j = 1}^N o \left( {r_j^u} \right)\sigma \left( {r_i^u - r_j^u} \right) + \lambda o\left( {r_j^u} \right)r_j^{u2}} \right]} \end{array} $

(11)

其中β和α平衡了来自GRU_blo和GRU_usr的信息对最终推荐的影响.

2 实验与分析 2.1 实验设置

1) 数据集. DoubanEvent^①包含的是来自豆瓣网站的用户在电影、书籍和音乐域的评分序列数据.使用DoubanEvent中的movie、book和music 3个数据集来综合验证方法性能.

① https://sites.google.com/site/erhengzhong/datasets.

首先使用30 min为间隔将每个用户的序列划分为不同会话.然后以30 d作为间隔将movie和book中的会话划分为不同区块，以15 d为间隔将music中的会话划分为不同区块.同时删除出现次数小于20的项目、包含项目数小于3的会话、包含会话数小于2的区块及包含区块数小于3的用户.数据集的统计信息如表 1所示，其中“*”处的统计值为平均值.另外，3个数据集的测试集都采用最后3个月的数据，并过滤掉其中没有在训练集中出现的项目以及长度小于3的会话.验证集也均是对应训练集中最后3个月的数据.

2) 评价指标.采用2个在会话型推荐中广泛使用的度量标准^{[3, 4, 6]}Recall@K度量所有测试用例中正确结果在top-K结果中的比例，其中K∈{10, 30, 50}；MRR用正确结果在所有结果中的排名倒数来强调高排名的重要性.

3) 对比方法.

为了验证PHRM的有效性，分别选择了有代表性的基于长期兴趣的BPR^[11]方法、基于短期兴趣的item2vec^[2]、SF-SKNN ^①[1]、GRU4REC^②[3]、GRU4REC+^[4]方法及基于长短期兴趣结合的HRNN^③[6]方法作为对比.同时，还设置了PHRM的变体来验证模型各部分的性能. PHRM-c、PHRM-p和PHRM-cp为分别基于连接方式、基于乘积方式以及基于连接和乘积方式的变体；PHRM-n为去掉融合层的变体；PHRM-s、PHRM-b和PHRM-u是只基于会话级、区块级和用户级RNN的变体.实际上，PHRM-s即为GRU4REC+.

① https://www.dropbox.com/sh/7qdquluflk032ot/AACoz2Go49q1mTpXYGe0gaANa?dl=0.

② https://github.com/hidasib/GRU4Rec.

③ https://github.com/mquad/hgru4rec.

实验中，所有对比方法的维度都设置为100.迭代次数设置为10. PHRM的β和α取值分别为0.1和0.2.学习率设为0.1.将每个实验都重复10次，并取平均值作为最终结果.

2.2 融合方式的性能分析

实验1对比了3种不同融合方式下PHRM的性能，结果见表 2. PHRM-c在3个数据集上的性能都略好于PHRM-p，可以看出基于连接方式的PHRM-c建模信息交互的能力较强.另外，PHRM-cp一致地优于PHRM-c和PHRM-p，原因在于基于连接的方式和基于乘积的方式实际上捕捉的是不同的交互模式，PHRM-cp将基于连接和基于乘积的方式结合起来，能够融合2种信息，以进一步提升模型性能.在后续的实验部分将采用PHRM-cp作为对比，亦称PHRM-cp为PHRM.

2.3 整体性能分析

为了验证提出方法的整体性能，实验2将PHRM及其变体与捕捉长期兴趣的贝叶斯个性化排序方法(BPR, bayesian personalized ranking)、捕捉短期兴趣的方法(item2vec、SF-SKNN、GRU4REC和GRU4REC+)和同时捕捉长短期兴趣的方法(HRNN)在3个数据集上分别进行实验，如表 3所示.首先，item2vec的性能在3个数据集上都优于BPR，因为item2vec可通过引入时间信息提升性能. SF-SKNN的性能优于item2vec，原因是SF-SKNN认为序列中不同位置项目产生的影响不同，而item2vec无差别对待.由于基于非线性变换的RNN能更容易捕获复杂的时序关联，所以GRU4REC和GRU4REC+的性能都优于item2vec. HRNN的性能优于GRU4REC，因为HRNN引入了用户的长期偏好，为GRU4REC补充了个性化信息. GRU4REC+克服了随着采样样本数增加而出现的梯度消失问题，性能明显优于GRU4REC和HRNN.另外，进一步分析了不同层次兴趣信息对推荐性能的影响. GRU4REC+(即PHRM-s)、PHRM-b和PHRM-u的性能依次递减，说明短期兴趣中包含的细节信息比中、长期的局部和全局信息更丰富、更关键.分析表 1的数据可知，3个数据集中的会话/区块值均高于区块/用户值.因此PHRM-u的性能略低于PHRM-b的原因可能是PHRM-u会遇到更多地只包含1个或2个区块的用户，从而影响了模型学习全局兴趣信息的准确性.值得关注的是所提出的PHRM性能在3个数据集上都高于所有的对比方法，即使没有采用融合层PHRM-n的性能，也优于其他对比方法.结果表明，与只捕捉了会话内序列信息的GRU4REC+相比，PHRM-n引入区块级和用户级RNN来建模区块内相邻会话的关联并追踪全局兴趣演化的设计，能够提升推荐性能.另外，PHRM通过引入融合层能够有效捕捉跨层级的交互信息，进一步提升推荐性能.以Movie数据集为例，PHRM与GRU4REC+相比Recall@10值提升了18.35%，MRR值提升了16.81%.

2.4 区块性能分析

PHRM通过设计区块级RNN来学习中期兴趣以捕捉局部信息.因此，如何将用户的会话划分为不同的区块以输入到区块级RNN中对于PHRM十分重要.实验3首先在3个数据集下分别对比了不同区块划分间隔对PHRM性能的影响，结果如图 2所示.随着划分间隔的增大，3个数据集中PHRM的Recall和MRR值都是先增大，到达最大值后再降低. Movie和Book数据集的最佳划分间隔为30 d，Music数据集的最佳划分间隔为15 d.这是因为当划分间隔过小，每个区块中的平均会话数接近为1，此时大部分区块丢失了会话间的关联性使得性能降低.而划分间隔过大时，由于区块中包含过多的会话而引入噪声信息，也造成性能下降.将Movie数据集中的会话分成不同的测试部分，以验证增加区块级RNN后的PHRM的性能增益情况，如图 3所示.此处主要分析长度大于5的会话，把会话中的前2个项目作为会话的前段部分，第3、4个项目作为中段部分，第5个及以后出现的项目作为后段部分. 图 3显示，随着会话中项目数的增多，方法的性能都会上升.然而在前段部分，PHRM与其他方法相比却有更大的提升，原因为区块行为内的数据同属于相同的中期兴趣.因此，在同一个区块中，过去的会话能有效帮助预测即将到来会话的第1个动作.

3 结束语

引入中期兴趣的概念，设计一个基于RNN的个性化分层循环模型，通过利用用户的会话、区块和全部序列数据来联合捕捉用户的综合兴趣.在3个真实数据集上进行实验，结果显示，利用PHRM能够显著提升推荐性能(与GRU4REC+相比，Recall@10提升18.35%，MRR提升16.81%).另外，PHRM在不增加额外数据的情况下，只通过挖掘用户行为序列中的多层次兴趣信息就能提升推荐性能.因此PHRM可以很容易作为一个模块扩展到实际推荐系统中.在下一步工作中，将进一步研究该模型在大型数据集上的扩展性和推荐性能.