互联网不仅是获取信息的重要途径，也是广大网民表达观点和看法的平台。随着博客、微博、微信等自媒体的流行，网络购物的盛行和网购评价体系的不断完善，对事件的观点、对物品的评价等具有情感倾向的文本飞速增长。这些信息对于政府部门的舆情监控、企业的经营决策和个人的购买决定都起着至关重要的作用。然而，这些评价信息数量巨大、变化迅速，仅依赖人工收集整理不仅成本高，也难以满足时效性要求。因此文本情感分析受到了学术界与工业界越来越多的关注^[1-2]。

情感分类是文本情感分析的重要组成部分。它是指根据文本所表达的含义和情感信息将文本划分为褒扬或贬义两种或几种类型，是对文本作倾向性、观点和态度的划分。目前，大多数情感分类方法都是监督模型或半监督模型，但标记好的语料常常难以获取，给情感分类造成困难。基于主题模型的情感分类，不仅具有无监督的优势，也具有较强的可移植性^[3]。

Lin等^[4]提出了LSM模型(latent sentiment model)，该模型将情感作为主题的特例，认为文档中词汇的分布与情感有关，从而实现了文档的无监督情感分类，但无法识别出更细粒度的情感信息。Titov等^[5]提出的MG-LDA模型(multi-grain model)能够以较细的粒度提取主题，该算法是一个有监督学习模型，需要对样本类别进行人工标注。TAM(topic-aspect model)^[6]和TSM(topic sentiment mixture)^[7]能够无监督地抽取文档的主题和情感信息。但这两种算法假定主题和情感的分布相互独立，忽略了二者的联系，也给解释主题和情感的关系造成困难。ASUM模型(aspect and sentiment unification model)考虑了主题和情感的相关性，建立了“句子—主题—词”的3层模型，有效提取了情感和主题信息，但这种方法将每个句子视为一个文档，丢失了上下文信息^[8]。JST模型(joint sentiment/topic model)是一种可以无监督地提取文档主题和情感信息的4层贝叶斯网络，但该算法的复杂度较高，结果不够稳定^[3]。欧阳继红等在JST模型的基础上，提出了多粒度的主题情感混合模型MG-R-JST和MG-JST，该方法同时考虑到文档和局部两个粒度的情感主题分布，稳定性好，但面临复杂度较高的问题^[9]。

本文在LDA模型的基础上，提出了应用于主题/情感分析的词加权LDA算法(weighted latent dirichlet allocation，WLDA)，通过计算语料中词汇与情感种子词的距离，在吉布斯采样中对各词区分对待，利用每个主题下的关键词判断主题的情感倾向，进而得到每篇文档的情感分布。实验表明，WLDA可提取细粒度情感，并且具有迭代速度快、分类精度高的优点。

1 LDA模型

LDA(latent dirichlet allocation)^[10]是一种3层贝叶斯模型，它描述了文档、主题、词汇间的关系。LDA模型自2003年提出以来，已经有了诸多的改进和变形算法，并在文本分类^[11]、信息检索^[12]等领域得到了广泛应用。其图模型见图 1。

图 1中，各个符号的含义见表 1。

根据LDA模型，文档的产生过程见算法1。

算法1^[10]    LDA文档产生过程。

输入    α、β、K；

输出   文档。

对每个主题k∈[1, K]，采样词分布φ_k~Dir(β)

对每篇文档m∈[1, M]

    采样一个主题分布θ_m~Dir(α)

    对文档m中的每个词w

        根据θ_m采样一个主题z~Mult(θ_m)

        根据主题z采样一个词w~Mult(φ_z)

其中，隐含变量θ和φ可按式(1)和式(2)估计：

式中：n_m^(k)表示文本m中主题为k的词汇数目，n_k^(t)表示词t中主题为k的词汇数目。V表示不计重复的词汇总数。

2 本文算法

LDA模型假设每个词都是同等重要的。然而，无论是从信息论或是语言学来看，该假设都并不完美。文献[13]指出高频停用词对LDA模型的主题推理有很大影响。然而，对于文本情感分类任务，在去除通常的停用词后，仍有大量与领域相关但对情感分类作用较小的词，具有褒贬倾向的词汇淹没其中，而使得LDA模型主题间区分度较小，分类精度不高。以酒店评价语料为例，大量文档中都出现有“酒店”、“房间”、“前台”等词，这些词是情感分类时的广义“停用词”，若不加以处理，将随机散布在各个主题的关键词当中。

由于这些词与领域相关，无法通过构建统一的词表去除该类词汇，给主题的提取和情感倾向的划分造成困难。本文针对情感语料的词汇分布特点，根据每个词与情感种子词的点互信息(point mutual information，PMI)^[14]，赋予词汇不同权重，并将权值信息融入吉布斯采样过程，利用每个主题下的关键词判断主题的情感倾向，从而实现文档的情感分类。整个算法的步骤如图 2所示。

点互信息可根据两个离散随机变量的共现概率度量其相关性。对于两个变量x和y，其点互信息：

显然，两个变量共现的概率越大，其PMI值越大。以此为理论基础，文献[15]根据某一词汇与正面情感种子词和负面情感种子词的PMI值度量该词的情感倾向。考虑到种子词在语料中的出现可能不均衡，本文对原公式稍加改动，根据语料中出现的正向和负向种子词个数添加归一化因子。对于词w，其权重定义为

式中：pos为语料中包含的正面情感种子词集合，a为正面情感种子词个数，neg为语料中包含的负面情感种子词集合，b为负面情感种子词个数。

受文献[16]启发，在得到词汇权重后，本文按照式(5)对每个词的主题进行吉布斯采样，式中，W为词汇总数，n_mj^(k)表示文本m中，词i被分配给主题k的数目，﹁i表示采样过程中不计当前词影响：

整个模型的“文档—主题”分布θ和“主题—词汇”分布φ可分别按照式(6)和式(7)计算：

与LDA模型类似，此处选取每个主题下φ值最大的S个词作为该主题的关键词。定义主题k的情感倾向E(k)：

“文档-情感”矩阵π表征了文档的情感分布，其规模为M×2，由正面情感分布π_pos和负面情感分布π_neg组成。其定义见式(9)和式(10)：

式中：θ_i为每一篇文档分配给主题i的概率，π_pos和π_neg分别是文档为正面或负面的概率值，刻画了每篇文档的情感分布情况。在后面的实验中，认为文档d的情感倾向：

完整的WLDA算法如下：

算法2   基于WLDA的情感分类算法。

输入   待分类文档，情感种子词；

输出   情感分类结果。

For w∈W

按式(4)计算weight(w)

Repeat

For m∈M

For n∈N

按式(5)采样每个词的主题

Until收敛or达到最大迭代次数

分别按照式(6)和式(7)计算θ、φ

For k∈K

For s∈S

按式(8)计算主题k的情感倾向E(k)

If E(k)>0

π₁=π₁+θ_k

If E(k) < 0

π₂=π₂+θ_k

For m∈M

If π_{m, 1}>π_{m, 2}

文档情感为正面

Else

文档情感为负面

3 实验结果与分析 3.1 实验设置

语料1为中科院谭松波等收集整理的酒店评论语料，从中随机选取带有正向和负向情感倾向标注的评论各500篇；语料2为从互联网爬取的酒店评论11 197篇，包含正向文本5 891篇和负向文本5 306篇。WLDA和JST模型的正面和负面情感种子词来自知网的《中文情感分析用词语集》。实验前，首先对语料进行了分词、去停用词等预处理。

WLDA参数取经验值α=50/K，β=0.01，S=100。实验以LSM和JST两种经典算法作为对比，LSM模型中，选取α=50/K，β=0.01；JST模型参数设置与文献[6]保持一致。3种算法的迭代次数均为1 000次。

3.2 加权方式对比

表 2列举了部分词汇在3种加权方式下的权重值。

方法1 PMI已在上文详述，方法2IDF权重计算方法来自文献[16]，方法3的二值化见式(12)：

当一个词的权重大于1时，表明其作用在采样中将会被增强；小于1时，其重要性降低。若将全部权重置为1，则为一般的吉布斯采样。

方法1和方法3均能将“舒适”、“实惠”等词赋以较大权重，将部分没有情感色彩的词如“服务员”、“酒店”等赋以较小权重，但对于未收录的情感词汇如“很脏”、“破”等，方法3表现不佳。方法2将提高出现次数较少的罕见词的权重，而同时降低高频情感词和高频非情感词的权重。综上，3种方法中PMI加权最适用于本文，故以下实验中采用的均是PMI加权方式。

3.3 WLDA和LSM模型对比

在主题模型中，通常以各个主题下的关键词来表征该主题的含义。表 3为采用语料1时WLDA与LSM模型的关键词对比。

在WLDA中，超过一半的关键词都具有明显的情感倾向，如“不错”、“方便”、“失望”等，使读者更容易区分主题的情感倾向；而在LSM模型中，正如上文所提到的，体现情感的词汇出现较少，而“酒店”、“房间”、“入住”等不能表达明确情感色彩的词散布在正面和负面两类情感的关键词中。

表 4展示了WLDA和LSM模型对文档的情感分类精度。在关键词部分，虽然LSM中涉及的具有情感倾向的词汇较少，仍可辨别两类关键词的正负情感倾向。但具体到刻画各个文档的情感，其精度远低于WLDA，可见这类广义停用词对模型性能的影响。

此处以LSM为对比，说明了词汇加权对吉布斯采样结果的影响，但由于LSM模型只能将文档划分为正面、负面两类或正面、负面、中性三类，无法提取更细粒度的主题和情感信息，后文的实验均采用WLDA与JST两个模型的对比。

3.4 WLDA和JST模型的情感分类精度对比

图 3为WLDA和JST模型选取不同主题数目时，在语料1和语料2下的情感分类精度。

对于语料1和语料2，WLDA不仅在情感分类上均有良好表现，受主题数目选取的影响也比JST模型更小。

3.5 WLDA和JST模型的关键词对比

在语料1中，当K=6时，两种算法的分类精度达到最高。表 5列举了K=6时，WLDA和JST模型得到的关键词，并归纳了关键词的主要内容。

可以看到，WLDA得到的关键词多为单一方面评价，一致性较强，易于人的理解。而在JST模型中，部分主题由多个方面的评价组成，如主题2，在15个关键词中，同时涉及到房间、服务、餐饮三方面内容；主题6同时涉及房间、服务、交通三方面内容。除此之外，WLDA的关键词中涵盖的情感词汇更丰富，主题的情感倾向也更加突出。与JST模型相比，WLDA得到的各个主题的关键词语义和情感都更加明晰。

3.6 WLDA和JST模型的主题KL距离对比

上文通过关键词的列举直观展示了WLDA的性能，本部分将借助主题与背景主题的平均KL距离定量描述主题的区分性。其核心思想是一个合理的主题总倾向于在部分文档集中出现，主题在所有文档中出现的概率越平均，说明该主题越可能为垃圾/非重要主题^[17]。极端情况，当某个主题在所有文档中出现的概率都相同，该主题对文档的区分能力为零。主题与背景主题的平均KL距离KL_b定义如下：

式中：θ_b_k为θ_k的背景主题，其规模与θ_k相同，为M×1，∀i∈M，。

表 6展示了WLDA和JST模型主题与背景主题的平均KL距离，其值越大，说明主题与背景主题的距离越远，主题的可区分性越强。可以看到，在各个主题数目下，WLDA的主题区分能力均优于JST模型。

3.7 WLDA和JST模型的时间消耗对比

以语料1为例，图 4对比了K=6时WLDA和JST模型不同迭代次数所需的时间。

由于本文算法需要首先计算词汇权重，故吉布斯采样前的处理时间比JST模型长，但单次迭代速度比JST更快。当吉布斯采样的次数较小时，JST模型消耗时间更短，然而，随着采样次数的增加，WLDA的时间优势愈发明显。另外，对于同一语料库，取不同K值或其他参数发生改变时无需重复计算词汇权重，故在多次试验中，其平均运行时间将比图 3所展示的更短。

4 结束语

本文提出了一种用于情感分类的词加权LDA算法，通过度量词汇与情感种子词的点互信息，在吉布斯采样中为不同词汇赋予不同权重，并利用每个主题下的关键词判断主题的情感倾向，从而实现文档的情感分类。实验表明，WLDA不仅具有无监督、可提取细粒度情感的优点，而且分类精度较高，在采样中迭代速度较快。由于WLDA采用的是“词袋”模型，忽略了词与词之间的联系，可能会出现局部情感判断错误，因此，如何将词序信息融入WLDA是下一步的工作重点。