情感分析的目的是根据用户或者产品中的数据进行分析其极性特征，得出用户的行为分析结果。目前，情感分析已经得到工业界和学术界的广泛关注。

篇章的情感分类是情感分析任务中的一项基础任务，假设每个篇章只有一个情感目标的情况下，分析篇章的情感极性得到情感倾向性。Pang等^[1]采用了传统统计学的方法在情感分析上进行应用，对文本中词的性质特征进行有效的标注，该方法在情感分析的实验中取得良好的实验效果，由此证明了标记词性在情感分析上具有积极的意义。Lu等^[2]利用词典WordNet来发现情感词汇。Wang等^[3]将机器学习方法SVM与朴素贝叶斯方法进行结合，在情感分类任务中得到良好的实验效果。Kiritchenko等^[4]使用tweets中的标签和表情来构建情感特征。

神经网络模型在自然语言处理的各个领域都取得较好效果，如命名实体识别^[5-6]、机器阅读^[7-8]和问答系统^[9]。在篇章情感分析中，Kim^[10]提出用词向量训练方法表示文本信息，在CNN模型中成功地进行文本的篇章分类。Kalchbrenner等^[11]构建卷积神经网络模型，采用MAX-Pooling进行提取情感特征并取得良好的实验效果。Zhang等^[12]使用字符作为最小单元，以卷积神经网络进行文本分类，在多个数据上取得较好效果。

层次化神经网络模型和注意力机制结合在情感分析中取得较好效果。Tang等^[13]建立了一种层次化模型，使用CNN和LSTM从词和句子两个角度获取篇章的特征表示。Yang等^[14]将注意力机制与层次化模型结合，利用注意力机制分别关注句子中的关键词和篇章中的关键句子。这些方法多以循环神经网络模型为基础，结合注意力构建层次化的模型，或者仅从词角度分析篇章。

在篇章级的文本情感分析中，理想的层次化情感分析模型应当在层次的第一层中将重点情感特征进行明显表示，以帮助模型挖掘到重要的情感特征。在第二层发现并整合篇章的重要句子，得到篇章整体语义。CNN具有较强的局部特征提取能力，但CNN无法自动判别输入文本中哪些局部特征词较为重要，故本文首先结合注意力和卷积神经网络构建词注意力的卷积神经网络，发现重点词汇。因此，本文构建一个双注意力的层次化情感分析模型。采用双注意力机制，模型使用两个注意力机制，分别关注重要的词汇和句子。在提取句子中的关键词时，使用局部注意力机制，获取篇章关键句子时，使用全局注意力机制。CNN有助于获取局部特征，局部注意力可使模型更有效地关注重点词汇，提取句子的局部特征。第二层中，GRU神经网络可提取到整个篇章的语义，全局注意力可关注到篇章中的重点句子，得到篇章的整体语义信息^[15-16]。

本文主要贡献如下：

1)利用注意力机制与卷积神经网络进行建模，构建层化的情感分类模型，改进的CNN可有效发现句子的重点词汇，形成句子表示；

2)本文的模型在多个数据集上取得当前最好实验效果；

3)本文从局部特征和全局语义两个角度提取特征，两个注意力机制分别关注不同的侧面，多元的特征更有助于篇章的表达。

1 相关工作

篇章级别的情感分类是情感分析的一项基础工作^[3]，Pang等^[1]将情感分类问题视为同篇章分类相似的任务，采用监督学习算法解决该任务。Wan^[17]使用英文数据作为训练集，训练模型解决了中文情感分类问题，用于解决交叉语言情感分析的难题。Zagibalov等^[18]提出一种能自动提取商品评论中情感词的方法，该方法是一种无监督的机器学习算法，无需任何的标注数据集。

但是，上述方法多依赖于特征工程，在构建特征工程过程中需要耗费大量时间和财力，并且不能很好地提取到评论的语法和语义信息。词嵌入^[19-21]原理在于，利用一个计算好的词典向量表将文本映射成相应的实值向量。Tang等^[22]使用一种改进的基于情感信息辅助的词嵌入方法提高情感分析的准确性。其他的传统神经网络模型在情感分析任务中应用得非常广泛，如RNN和CNN常被用来设计模型，并且承担了大量的情感分析任务。Kim^[10]以CNN为基础构建了一个多通道CNN模型，以此提取多方面的情感特征。Johnson等^[23]用单词的独热表示作为输入特征，使模型学习到更深层的语义特征，从而进行情感分析。Socher等^[24]在RNN上进行构建情感分类模型并取得良好的实验效果。Tang等^[13]提出将卷积神经网络与循环神经网络进行结合的基于层次化的篇章分类模型。该模型首先利用CNN或RNN学习句子的特征表示。然后，使用一种带有门控机制的RNN构建篇章的特征表示。

注意力机制是一种有效神经网络机制。Xu等^[25]利用注意力机制进行图像分析，在图像分类上改善了分类的性能。注意力机制在其他领域也有良好的应用，例如在机器翻译领域获得了应用研究，其常被用来优化encode-decode模型以解决机器翻译效果不佳等问题^[26-27]。Zhou等^[28]结合LSTM和注意力机制用于情感分类。Allamanis等^[29]在文本摘要领域使用attention机制，都取得较好效果。Yin等^[30]将卷积神经网络与注意力机制融合，提出一种新的模型以用于情感分析。这些模型方法充分证明了注意力机制在卷积神经网络中的实验有效性。Wang等^[31]提出将卷积神经网络与多个注意力进行结合并在情感分类任务中取得了良好的实验效果。Chen等^[32]使用层次化的模型，借助注意力机制将用户和产品信息加入到模型，取得较好的情感分类效果。

2 层次化的双注意力神经网络模型

如图1所示，该图是层次化的双注意力神经网络模型，模型进行篇章特征提取后，得到最终的情感特征，从而进行分析情感极性。首先对篇章中的每个句子通过词注意力卷积神经网络获取句子的词特征，进而构建句子的特征表示；然后使用全局注意力机制的LSTM提取句子向量的整体篇章表示。

2.1 词特征提取

针对在情感分析应用模型中卷积神经网络模型存在的缺点，本文提出一种词特征提取的词注意力卷积神经网络模型，具体包括如下几部分：

1)词嵌入层：词注意神经网络模型的第一层为词嵌入层，主要的作用是将词进行序列化表示后得到文本的词嵌入表示。

2)词注意力层：针对上一层的输出，对词嵌入层进行重点词提取，由此在词嵌入后进行添加词注意力机制，作用是减少在训练过程中噪声对实验的影响。

3)卷积层：在词注意力层之后加入卷积层，本文使用的卷积核的窗口大小为1、3、4和5。用于提取更多的情感特征。

在情感分析中，通过词注意力层和卷积层，使模型在训练过程中具有文本词特征的鉴别能力。其卷积层是为了选出对情感分析作用帮助更大的特征，而注意力机制的作用是为了将重要的特征进行突出。

词嵌入层：文本进行词嵌入映射表示得到连续低维的实值向量，假设文本表示为 ${{S}} = \{ {w_1},$ ${w_2}, \cdots ,{w_{n - 1}},{w_n}\} $ ，其中 ${w_i}$ 是文本中第 $i$ 个词语或者短语。本文利用one-hot算法对文本进行向量表示。本文设置的向量维度用 $d$ 行表示：

$ {x_i} = {w_i}{{e}},\;{x_i} \in {{\bf{R}}^d} $

(1)

式中： ${{e}} \in {{\bf{R}}^{|v| \times d}}$ 是词嵌入矩阵； $\left| \nu \right|$ 表示整个数据集中词汇的数量；d代表词向量的维度。将文本进行词嵌入表示 $X = \{ {x_1},{x_2}, \cdots ,{x_n}\} $ 。

词注意力层：在词嵌入层表示后，让单词表示中的情感特征更为突出，然后本文借助于n-grams的语言模型，并借助该中心词的上下文的n个词作为该中心词的语义表示。本文以大小 $L = {\rm{ }}\left[ {{p_i} - D,{p_i} + } \right.$ $\left. { D} \right] = 1 + 2D$ 的词表示该中心词的语义表示。用 ${{{W}}_{{\rm{att}}}} \in {{\bf{R}}^{L \times d}}$ 作为滑动窗口的矩阵参数。其中， ${p_i}$ 表示该中心词， $D$ 表示选取的上下文的长度。如图2所示，由此计算每个词表示 ${x_i}$ 的特征值权重 ${\alpha _i}$ ，可以帮助文本中情感分析的重要程度值更加明显。

$ {{X}}_i^{{\rm{att}}} = \{ {x_{i - D}}, \cdots ,{x_i}, \cdots ,{x_{i + D}}\} $

(2)

$ {\alpha _i} = h\left( {{{X}}_i^{{\rm{att}}}{{{W}}_{{\rm{att}}}} + {b_{{\rm{att}}}}} \right) $

(3)

式中： ${{X}}_i^{{\rm{att}}}$ 表示以 ${x_i}$ 为中心，将上下文的大小设置为 $L$ ； $h\left( \cdot \right)$ 代表sigmoid激活函数；用 ${b_{{\rm{att}}}}$ 代表偏置项。如图2所示，在词注意力层中运用滑动窗口机制，进一步探索词嵌入 $X$ 的深层特征值，并为每个词的局部特征X分配权重α：

$ \alpha = \{ {\alpha _1},{\alpha _2}, \cdots ,{\alpha _n}\} $

(4)

式中 $n$ 表示文章中句子的长度。用α表示句子中词或短语的重要程度值，将词特征与权重相乘，更新每个词的特征表示，得到 ${X_{{\rm{att}}}}$ ：

$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;\;\;x_i^{{\rm{att}}} = {\alpha _i}{x_i}\\ \;\;\;\;\;\;\;\;\;\;\;\;x_i^{{\rm{att}}} \in {{\bf{R}}^d}\\ {X_{{\rm{att}}}} = \{ x_1^{{\rm{att}}},x_2^{{\rm{att}}} \cdots ,x_i^{{\rm{att}}}, x_{i+1}^{{\rm{att}}}\cdots ,x_n^{{\rm{att}}}\} \end{array} $

(5)

卷积层　传统的情感分析处理自然语言的方法一般采用1-gram、2-gram和n-gram语言模型提取文本的情感特征。Pang等^[1]曾使用该方法进行情感分析，并取得良好的实验效果。卷积神经网络模型根据上下文大小提取局部特征值，卷积核参数 $\varpi \in {{\bf{R}}^{h \times d}}$ 都将以 ${X_i}$ 为中心，在每一次的卷积操作中，提取卷积上下文窗口大小作为 ${{D}}$ 的局部特征，并将其视为n-grams特征提取。

本文中，取卷积核大小为3，则文本中心词对应的上下范围为1，并遵循马尔可夫原则，即卷积核大小变为5时，中心词对应上下文范围扩大为2。当卷积核大小取3时，其上下文大小为1，进行卷积操作时，无法取到第一个词的上文以及最后一个词的下文表示。即首尾两个词导致有 $\left\lfloor {h/2} \right\rfloor $ 个词无法提取到对应的n-grams特征，将产生文本信息提取不足的问题。为解决此问题，本文采取首尾填充操作，即在卷积层的输入末尾进行大小为 $h - 1$ 的0向量补全。

$ X = {X_{{\rm{att}}}}\underbrace { \oplus \cdots \oplus {x_0} \oplus {x_0}}_{h - 1} $

(6)

式中 $ \oplus $ 表示串联操作。

卷积层的作用在于提取每个词特征信息和词的上下文信息。在词注意力之后得到的文本特征信息 ${X_{{\rm{att}}}}$ 作为卷积的输入。同时在卷积层中运用多个不同大小的卷积核进行提取文本特征，每个卷积核取一定的数量。不同之处在于，增加了大小为1的卷积核，用于对每个词进行特征提取。将卷积层输出的特征图作为最大池化层的输入，得到篇章的特征表示 ${{s}}_i$ ：

$ {{{s}}_i} = {\rm{CNN}}\left( {{X_{{\rm{att}}}}} \right) $

(7)

式中 $i$ 代表篇章中的第几个句子。

2.2 篇章特征提取

篇章分析　假设输入句子层次词注意卷积神经网络获取到句子向量 ${{{s}}_i}$ ，将向量作为双向GRU神经网络的输入，双向GRU的输出串联作为特征表示：

$ {{{h}}_i} = \left[ {{{\overrightarrow {{h}}}_i},{{\overleftarrow{{{h}}}}_i}} \right] = {\rm{Bi - GRU}}\left( {{{{s}}_i}} \right) $

(8)

篇章全局注意力　通过词注意力卷积神经网络获取到每个句子的特征表示，经过双向GRU进一步编码提取每个句子的信息，将双向GRU的输出作为全局注意力层的输入，得到每个句子对篇章表示的贡献，排除掉无用的句子并获取到篇章的整体语义信息。具体计算如下：

$ {{{u}}_i} = \tanh \left( {{{{W}}_g}{{{h}}_i} + {b_g}} \right) $

(9)

$ {{{\alpha }}_i} = \dfrac{{\exp \left( {{u_i}} \right)}}{{\displaystyle\sum\limits_i {\exp \left( {{u_i}} \right)} }} $

(10)

$ {{v}} = \displaystyle\sum\limits_i {{\alpha _i}{{{h}}_i}} $

(11)

其中双向GRU的输出经过一个多层感知机，使用 $\tanh $ 非线性激活函数，得到每个编码句子的权重值，归一化 ${\rm{softmax}}$ 函数将权重分布在[0,1]之间；将句子编码为向量 ${{{h}}_i}$ 并与对应权重 ${\alpha _i}$ 相乘求和最终得到特征表示 ${{v}}$ 。

2.3 篇章分类

篇章特征向量由提取词和句子特征后得到。向量 ${{v}}$ 首先通过多层感知机映射到情感类别空间 $C$ ，再使用 ${\rm{softmax}}$ 函数得到情感类别分布 ${P_C}$ 。

$ {P_C} = {\rm{softmax}} \left( {{{{W}}_c}{{v}} + {b_c}} \right) $

(12)

式中 ${P_C}$ 代表篇章在类别 $C$ 上的预测概率。

实验中将预测的类别分布同真实分布进行对比，训练过程中使用交叉熵作为模型的损失函数。以 $P_C^g$ 作为真实类别整体概率分布， ${P_C}\left( d \right)$ 是篇章的预测概率分布，损失函数为

$ {\rm{loss}} = - \displaystyle\sum\limits_{d \in D} {\displaystyle\sum\limits_{c = 1}^C {P_C^g\left( d \right)} } \ln \left( {{P_C}\left( d \right)} \right) $

(13)

式中 $D$ 表示训练的样本集。

3 实验数据与实验设置 3.1 数据集

为验证本文提出模型的有效性，实验部分在以下3个公开数据集上进行，所用数据集来自于Chen等^[32]的数据集：

IMDB：用户在不同商品上的评论数据集。用于对评论进行情感倾向性分析，每条评论分为10个情感强度。

YELP：Yelp比赛2013年和2014年的数据集，每条评论分为5个强度。

数据集详细信息如表1所示。

3.2 实验参数与数据处理

本数据集使用Keras进行数据预处理，分词任务由Keras提供的tokenizer实现。将数据集划分为训练、验证和测试集，划分比例分别为8∶1∶1。实验时对词向量进行降维处理，训练词向量维度为200维。卷积神经网络参数设置如表2所示。本文设置上下文范围大小D=2，滑动窗口数量为1，GRU的输出维度设为100，双向得到向量为200维，全连接层隐藏单元200个。

实验模型指定batch_size大小为32，同时对词向量进行动态微处理。本文使用Adadelta算法对模型参数进行了优化调整。为了提升实验效果和模型准确率,训练过程中将含有句子数相近的篇章形成一个batch，用以加速训练过程。最后，模型使用准确率作为评判标准。

3.3 对比方法

为了测定模型效果，本实验对比了不同的模型实验结果，如表3所示，有SVM(support vector machine)、NN(neural network)等。

对比方法如下：

Majority：将训练集中占多数的情感标签视为测试集的情感标签。

Trigram：以一元词、二元词和三元词为特征训练SVM分类器^[33]。

TextFeature：提取文本的词特征、字符特征和词性特征训练SVM分类器。

AvgWordvec：将文档的词向量平均化得到文档表示，以此训练SVM分类器。

SSWE：使用特别训练的情感词向量生成特征，SVM为分类器。

NSC：双层LSTM分别获取词特征和句子特征，构建篇章表示^[32]。

NSC+LA：双层LSTM结合全局注意力机制提取篇章的特征表示^[14]。

RNTN+RNN：使用递归神经网络提取句子的特征表示，并用循环神经网络得到篇章的特征表示。

Paragraph Vector：PVDM^[34]模型用于情感分类。

Cnn2Cnn：词特征提取和句子特征提取都使用词注意卷积神经网络。

Cnn2Rnn：词特征提取使用词注意卷积神经网络，句子特征提取使用GRU和全局注意力。

3.4 实验结果与分析

本文的实验结果如表3所示，在3个数据集上分别得到模型的准确率，将模型的对比实验分为3组：第1组以传统特征提取结合分类器进行情感分类；第2组使用层次化的循环神经网络作为基础，结合全局注意力机制，得到篇章的情感类别；第3组是本文提取出的模型，以词注意力卷积神经网络模型提取句子的词特征，构建句子表示，并以层次化的模型得到篇章情感倾向。

从第1组实验可以看出，传统方法和简单基于词向量的方法较其余两组的情感分类效果差距较大，说明在长文本的篇章中使用层次化的模型更有助于提取篇章的特征。

第2组的层次化循环神经网络，使用GRU或LSTM构建层次化的模型，模型在各个数据集上都有较大幅度的提升，NSC较Paragraph Vector提升都在8%左右。注意力机制有助于模型关注突出的情感特征，从而，提升模型效果，NSC+LA改进了 NSC，取得了更优效果。

卷积神经网络和循环神经网络在处理文本时各有优缺点，单一的循环神经网络结合注意力机制，无法做到模型特征提取的多样性，从第3组实验可以看出，Cnn2Cnn模型与NSC+LA模型取得相近的结果，注意力机制虽不同，但CNN更关注于篇章的局部特征，对整体语义表征不够。

Cnn2Rnn取得了较之前更好的效果，在IMDB、YELP 2013和YELP 2014分别取得49.4%、64.1%和64.2%的准确率，较传统的第1组实验的方法提升为10%左右，较双层LSTM或GRU在IMDB、YELP 2013、YELP 2014提升5%、2%、1%左右，较单一模型的层次化注意力机制模型NSC+LA和Cnn2Cnn，各数据集提升在1%左右。

词注意力卷积神经网络作为第1层，提取每个句子中的关键词，发现句子的局部重要信息，如情感词、语气词、转折词等，以此构建句子的特征表示；全局注意力机制发现篇章中重要的句子，分配以高权重，循环神经网络模型提取整个篇章句子的语义表达，避免CNN的局部提取而丢失信息。

4 结束语

本文提出一种层次化的双注意力神经网络模型，将其用于情感分析任务，取得较好效果。模型基于CNN和RNN，从局部注意力机制和全局注意力两个角度提取不同的特征，层次化篇章的注意力神经网络模型分别获得句子的重点词汇以及整个篇章的重点句子特征。模型在多个数据集上得到验证，说明在不同角度获取的特征更有助于表达篇章特征。虽然本文在篇章级文本中取得较好实验结果，由于模型较为复杂，并且文本较长，导致模型训练时间上并非理想。在未来研究中，优化模型的复杂性将是下一个改进的方向。