2. Universitatea Petrol-gaze din Ploiesti, Bucharest 100680, Romania
2. Universitatea Petrol-gaze din Ploiesti, Bucharest 100680, Romania
随着云计算与大数据时代的迅速推进, 计算机已经是人们平时获取信息最重要的途径. 从各种数据形式中获取最有用的、潜在的信息已成为人们关注的重点方向, 信息抽取技术应运而生. 信息抽取就是从海量的文本、图片和视频等数据里面自动抽取用户需要的结构化信息的过程. 事件抽取作为信息抽取技术的主要分支之一, 同时还是该方向最有挑战性的任务之一. 事件抽取一直吸引着许多研究机构和学者, 如消息理解会议(message understanding conference, MUC)[1]和自动内容抽取(automatic content extraction, ACE)会议[2]就把事件抽取作为典型任务.
事件抽取任务研究是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息并以结构化的形式表示[3], 融合了来自计算机科学、语言学、数据挖掘、人工智能和知识建模等多个领域的知识和经验, 对人们了解社会有着深远的影响. 事件抽取在不同领域中具有许多应用, 例如结构化事件能够直接扩充知识库并进行逻辑推理. 事件检测与监控一直是政府公共事务管理的重点, 实时了解社会事件的爆发和演变有助于对其迅速做出反应并采取措施. 在金融业务领域, 事件抽取可以帮助公司快速发现产品的市场响应并推断信号以执行风险分析、评估等操作. 在生物医学领域, 事件抽取能够识别生物分子(例如基因或蛋白质)状态的变化, 以及它们之间的相互作用. 事件抽取在应用需求的推动下展开, 由人工标注数据的依赖情况可以将目前基于深度学习的事件抽取方法主要分为两类: 有监督和远程监督学习方法. 本文首先简单介绍深度学习中事件抽取的发展, 再从事件抽取研究的方法, 对其发展状况和技术推进两个维度全面阐述事件抽取的工作, 然后概述了深度学习中事件抽取的数据集及对评价指标进行分析, 最后讨论了事件抽取中面临的挑战及研究趋势, 并对其进行了总结和展望.
1 事件抽取的发展20世纪80年代末, 事件抽取的研究开始蓬勃发展, 其中耶鲁大学、MUC会议、ACE会议和文本分析会议(text analysis conference, TAC)[4]的相关测评都推动着事件抽取技术的快速发展, 情况如表1所示.
|
Table 1 Description of event extraction 表 1 事件抽取有关的描述 |
MUC会议每两年举办一次, 主要是美国国防部高级研究计划局(defense advanced research projects agency, DARPA) [1]赞助的. 它从1987–1997年总共举办了7届, 积极推动了事件抽取研究方向的确定与后续发展的方向.
ACE会议是MUC的延伸, 在大量的应用需求下, 1999年美国国家标准与技术研究院(national institute of standards and technology, NIST) [2]组织的ACE评测会议开始发展起来. ACE从2000–2007年共举办了8届, 这是事件抽取领域最有影响力的评测会议.
TAC会议是NIST在2008年成立的, 自2009年开始ACE就成为TAC中的一个子任务. 随着云计算和大数据时代的到来, 数据呈爆炸式增长, 上述测评会议所发布的依靠人工标注方式获得的语料库已经无法满足需求. 2014年TAC增加了知识库生成 (knowledge base population, KBP) [4]评测任务, 同时也增加了事件抽取的任务. 如今, 事件抽取已成为TAC-KBP公开评测的主要任务, 可以从大型文本语料库中自动抽取事件信息, 完成对知识库中不足论元[5]的补充.
传统基于特征的方法是利用人工构建事件候选触发词与论元, 这会导致模型的扩展性和移植性较差. 而机器学习方法在特征提取过程容易出现误差传播问题, 极大影响事件抽取模型的性能. 随着深度学习的崛起, 研究者们逐渐将深度学习方法引入事件抽取任务中, 大量基于有监督的卷积神经网络(convolutional neural networks, CNN)[6]、递归神经网络(recurrent neural networks, RNN)[7]、生成对抗网络(generative adversarial networks, GAN)[8]、图卷积网络 (graph convolutional networks, GCN)[9]与远程监督方法的事件抽取模型被提出.
2 事件抽取研究的方法近年来, 深度学习技术已广泛用于复杂结构的建模, 并验证了对许多NLP任务都有效, 例如机器翻译[10]、关系抽取[11]和情感分析[12]等. 双向长期短期记忆(bi-directional long short-term memory, Bi-LSTM)模型[13]是一种双向RNN, 可以捕获前后上下文中每个单词的信息, 同时利用其信息对单词表示进行建模. CNN是另一种有效的模型, 可以提取事件语义表示同时捕获其结构特征.
事件抽取在应用需求的推动下展开, 由人工标注数据的依赖程度可以将目前基于深度学习的事件抽取方法主要分为两类: 有监督和远程监督学习方法. 有监督学习在训练过程中使用人工标注的数据集, 而远程监督的学习方法通过对齐远程知识库自动对语料进行标注来获取带标记语料数据, 具体比较情况如表2所示.
|
|
Table 2 Comparison of supervised and distant supervision learning methods 表 2 有监督与远程监督学习方法对比 |
2.1 基于深度学习的有监督事件抽取
在有监督中运用深度学习方法进行事件抽取, 已经成为这几年事件抽取的热门研究方向. 表3整理了深度学习框架下有监督事件抽取的经典模型[14-28]. 其中, 模型主要是改进CNN、RNN输入特征或网络结构, 比如添加不同特征、结合多种注意力机制和引入依存树等挖掘更深层次事件语义信息来提升其性能. 下面对相关模型进行深入研究和分析.
|
|
Table 3 Classic model of supervised event extraction 表 3 有监督事件抽取的经典模型 |
2.1.1 基于CNN模型的事件抽取方法
CNN模型能够自动抽取有效特征进行事件抽取与识别任务, 自动使用最大池化层获取整个句子的表示形式, 捕获最有价值的信息.
Chen等人[14]和Nguyen等人[15]在2015年率先尝试使用CNN[29]自动抽取有效特征进行事件抽取和识别任务, 由此避免了特征提取中的错误传播以及使用复杂的NLP工具包的问题. 其中, Chen等人[14]将事件类型特征用于论元角色分类任务, 提出了一种基于动态多池卷积神经网络(DMCNN), 如图1所示. 他们都在Li等人[30]事件类型识别结果的基础上进行了对比实验, 其中F1值分别提高了1.6%和1.5%, 验证了事件类型特征的有效性.
|
Fig. 1 The architecture for the stage of argument classification in the DMCNN event extraction[14] 图 1 DMCNN事件抽取模型论元分类阶段体系结构[14] |
2016年, Nguyen等人[16] 在Lei等人[31]的非连续n-gram的基础上, 提出了一种基于卷积神经网络的skip-grams事件检测模型(NC-CNN). 与Lei等人工作的不同之处在于, 他们通过位置嵌入模拟句子中触发候选词的相对距离. 实验结果表明, 他们在2015年事件识别[15]F1值为69.0%的基础上提高了2.3%, 验证了使用非连续n-gram机制进行事件检测优于传统的CNN模型. Zhang等人[32]则结合文本特征和视觉模型提出了一种多模态的事件抽取方法. 在ACE 2005数据集上, 该方法进行事件触发标签和论元标签的实验的F1值分别提高了7.1%和8.5%.
与前面工作不同的是, Liu等人[33]将事件检测和词义消歧当作两个相似的任务. 他们利用两个单独的CNN模型对其上下文建模, 匹配两项任务中特征相似的神经表示. 通过实验对比了多种深度学习模型, 验证了其模型的效果, 而且他们的方法还不依赖于手工注释的事件实体提及.
除了上述基于单一模型的深度学习方法在事件抽取中的应用, 还有一些基于混合模型的方法. 2019年, Lin等人[34]利用错误预测的数据重新构造模型训练的损失函数, 提出了一种基于CNN与RNN联合的代价敏感正则化方法(CR-INS). 通过实验证明, 他们的方法可以提高神经网络事件检测模型的性能. Wang等人[17]发现事件抽取中的方法大部分都是将每个论元角色单独分类, 而忽略了不同论元之间的概念相关性. 他们提出了一种分层模块化事件论元抽取模型(HMEAE). 在ACE 2005数据集上的实验表明, 该方法比DMCNN模型的F1值提高了5.8%.
由于生物医学领域的事件结构较复杂, 深度学习方法应用相对较少, 但是近几年也取得了一定的进步. 2018年, Li等人[35]为了解决生物医学事件抽取中复杂触发词的问题, 提出了一种并行多池卷积神经网络(PMCNN), 可以捕获句子的语义特征. 实验结果表明, 在MLEE数据集[36]上进行触发词识别的任务F1值达到了59.65%, 比以前的工作提高了2.24%. 2020年, Zhu等人[37]和Ramponi等人[38]都结合深度学习方法进行了生物医学事件抽取的研究. Zhu等人[37]忽略了生物医学事件的交互性, 将其分解为简单子任务, 提出了一种混合深度神经网络的事件组合策略方法. 在MLEE数据集上进行事件触发词识别任务的实验F1值为60.05%, 在其他数据集上的F1值也较高, 证明了其方法的有效性和泛化能力较强. 而Ramponi等人[38]率先结合CNN架构提出了一种跨域边缘检测的生物医学事件抽取模型. 在5个生物医学语料库上进行实验, 均取得不错的效果, 证明了其模型的鲁棒性和泛化性较好.
2.1.2 基于RNN模型的事件抽取方法Goller等人[39]在1996年就提出了用RNN模型来处理可变的输入长度序列. 然而, 梯度消失或者梯度爆炸这些典型的问题经常出现在训练过程中.RNN模型的一些变体, 如LSTM[40]和门控循环单元(gated recurrent unit, GRU)[41]在内的大多数循环神经网络架构都是使用门控控制信息流, 解决传统RNN出现的问题.
2016年, Nguyen等人[19]提出了一种双向递归神经网络的联合框架(JRNN). 他们利用两个RNN构建句子的局部特征和全局特征, 同时进行事件识别和论元角色分类的任务, 如图2所示. 在ACE 2005数据集上的实验表明, 模型在论元角色识别中的F1值比DMCNN模型提高了1.9%, 证明了该模型可以高效地学习多事件句子特征. Duan等人[42]提出了一种文档级递归神经网络模型(DLRNN), 可以自动学习跨句子特征. 通过实验证明, 该模型在句子级和跨句子级的事件检测都优于其他模型, 能够很好地捕获文档级信息. 现有研究大部分都是单独抽取事件论元, 而不考虑论元间的相互作用, Chen等人[20]提出了一种动态多池的双向长短期记忆网络(BDLSTM-TNNs). 他们通过LSTM的上下文感知词表示模型捕获文本中单词的语义, 然后利用神经网络的张量层探索候选论元间的相互作用同时预测所有候选论元. 该模型在事件论元分类上获得了较好的性能, 而且比DMCNN模型的F1值提高了0.6%, 揭示了该模型能够自动学习并捕获单词语义信息.
2018年, Sha等人[21]提出了一种基于依赖桥递归神经网络的事件抽取模型(dbRNN). 该模型不同于传统事件抽取方法需要依赖词法句法特征, 而是通过依赖关系桥对每个单词建模来表达与语法相关的信息. 实验结果表明, 该模型在事件触发词分类和论元分类中F1值比JRNN模型分别提高了1.6%和3.3%. Nguyen等人[43]通过深度学习中的共享隐藏表示, 对实体提及、事件触发与论元进行联合预测. 他们提出了一个基于深度学习的模型(EMD-Joint3EE), 采用双向RNN为句子中的单词引入共享的隐藏表示. 实验结果表明, 该模型优于基于特征的方法, 与其他深度学习模型对比, 在事件论元识别和论元角色分类中F1值分别提高了2.7%和2.0%. Orr等人[22]利用具有依存关系的文本信息双向捕获上下文信息和序列信息, 把GRU模型推广到图结构上, 提出了一个DAG-GRU的模型. 在ACE 2005数据集的实验表明, 它比其他神经网络模型性能更好.
以往的很多研究, 都很难实现复杂上下文的事件语义表示, Wu等人[44]提出了一种基于注意力机制的递归神经网络(RNN-ARG), 可以捕获语义规律. 而Ding等人[45]提出了一种基于多层注意力和深度上下文的词表示事件抽取方法. 该模型集成了RNN和注意力机制在事件抽取中的效果, 可以获取更深层的语义与上下文信息, 这使得模型的精度和召回率都有所提高. Zhang等人[46]提出了一种基于注意力机制Bi-LSTM模型, 利用模型中的关系类型嵌入进行事件检测. 实验表明, 该模型在触发词识别和类型分类中F1值分别达到了76.1%和73.9%, 说明它在Bi-LSTM神经网络之前集成注意力机制, 能够更好地捕获句子的关键信息.
Liu等人[47]针对数据稀缺和单语言歧义的问题, 提出了一种门控多语言注意力机制(GMLATT)的事件检测框架, 这是率先在事件检测任务中引入注意力机制建模多语言数据的工作. 该方法在实验结果中优于其他传统的深度学习方法, 其中事件类型分类中F1值提高了0.7%. Chen等人[23]利用分层的偏置标注网络检测一个句子中的多个事件, 提出了一种基于门控多层注意力机制(HBTNGMA)的偏置标注网络. 与JRNN模型相比事件类型识别的F1值提高了4.0%, 实验结果表明, 该模型可以同时检测一个句子中的多个事件并动态集成上下文信息. Zhao等人[48]提出了一种文件嵌入增强双向RNN模型(DEEB-RNN), 通过基于有监督分层注意力机制RNN模型进行事件检测, 然后用其结果增强另一个双向RNN模型识别事件触发与句子类型. 在ACE数据集上, 该模型在事件类型分类的任务中F1值达到了74.0%.
2019年, Chen等人[49]为了减少其他句子噪声带来的负面影响, 提出了一种多头注意力分割机制的方法进行事件检测. 实验结果表明, 该方法在触发词识别和事件类型分类的F1值分别是76.8%和74.2%, 分别提高了0.9%和0.8%. Mehta等人[50]则提出了一种分解式双线性多层注意力机制(FBMA). 该方法使用多层注意力的模型构建句子和文档表示信息, 通过3个事件数据集的实验证明了其模型具有较好的性能. 黄细凤[51]提出了一种基于动态掩蔽注意力机制的事件抽取模型(Dy MAN). 在ACE 2005数据集上进行了实验, 对于多事件抽取任务, 与之前最好的模型JRNN相比, Dy MAN模型在触发词分类任务上取得了9.8%的提升.
表4将注意力机制按其结构分3种类别, 分别是单层自注意力、多层注意力和多头注意力机制. 无论是基于 CNN、LSTM还是GRU衍生出的深度学习事件抽取模型, 均可以通过引入不同注意力机制或其组合来提高性能, 也可以有效缓解监督学习中的噪声问题.
|
|
Table 4 Attention mechanism related method statistics 表 4 注意力机制相关方法统计 |
2.1.3 基于GAN模型的事件抽取方法
GAN是基于神经网络的生成模型, 主要是由生成器和判别器这两个部分构成. 其中, 生成器能够学习真实的事件特征分布情况, 有利于自身特征的生成以进行抽取的操作, 同时还能骗过判别器. 判别器则能够让接收到的事件特征实现真假判别.
2018年, Hong等人[25]提出了一种基于GAN生成虚假特征的自调节学习方法(SELF), 采用了Bi-LSTM和GAN联合的循环网络来消除虚假特征. 在ACE 2005数据集上的实验表明, 该方法在事件触发词识别和事件分类中F1值分别为77.0%和73.0%, 进一步证明了GAN方法的有效性和较强的泛化性能. Zhang等人[52]也提出了一种生成对抗网络的逆强化学习方法, 通过动态机制学习实体和事件的特征. 实验结果表明, 该方法能够正确处理错误与混乱事件类别, 与dbRNN模型在事件触发词识别和角色识别的F1值相比都有所提升.
2019年, Liu等人[53]提出了一种对抗模仿学习的事件抽取方法. 该方法不依赖NLP工具包构建知识表示, 可以从原始语句获取知识进行事件检测, 在ACE 2005数据集上的实验结果表明, 在事件类型上与DLRNN模型相比F1值提高了4.3%. 而Wang等人[26]发现贝叶斯图模型, 如果依赖Gibbs采样进行论元推理, 需要较长时间才能收敛, 因此他们提出了一种对抗神经事件模型(AEM), 如图3所示. 该模型使用Dirichlet分布对事件建模, 利用生成器网络捕获潜在的事件信息. 这是率先将对抗训练用于开放域事件抽取的研究. 实验结果表明, 与其他深度学习方法相比, 该模型的事件抽取性能更好, 特别是在长文本数据集中F1提高了15％; 与现有的贝叶斯图模型相比, 该模型需要的训练时间更短.
2.1.4 基于GCN模型的事件抽取方法
GCN能够依靠图谱理论在拓扑图上完成卷积操作, 在事件抽取中, 根据单词间的句法连通性构建句子图引入句子结构信息.
2018年, Nguyen等人[27]提出了一种依赖树卷积神经网络, 他们依靠实体提及聚合卷积向量. 该方法不同于传统的神经网络模型只考虑句子的顺序表示, 而是依靠实体提及聚合卷积向量把语法集成到GCN进行事件检测. 由于现有研究捕获长距离的依存关系效率低, 需要大量的人力资源, 而且还不能充分建模事件间的关联, Liu等人[54]针对这个问题提出了一种多个事件联合抽取的框架(JMEE). 他们引入了句法捷径弧增强信息流和注意力图卷积来建模图信息, 可以联合多个事件触发词和论元进行事件抽取. 实验表明, 在事件触发词分类和角色识别上F1值分别比dbRNN模型提高了1.8%和1.6%.
由于现有研究仅使用依存树中的一阶句法关系识别触发词, Yan等人[28]提出了一种多阶图网络注意力的事件检测方法(MOGANED). 该方法在一阶句法图的基础上, 引入高阶句法图建模候选触发词的多阶表示, 在ACE 2005数据集上进行实验, 事件类型识别的F1值为75.7%, 比JMEE模型提高了2%.
2020年, Cui等人[55]针对现有依赖树图卷积网络的研究忽略了句法分析树关系结构的问题, 提出了一种关系感知图卷积网络(RA-GCN). 实验表明, 其在事件类型识别上F1值比Yan等人[28]的MOGANED模型提高了1.9%, 说明了该模型可以利用句法关系标签专门为单词间的关系建模. 这是率先同时使用GCN的句法依赖结构和关系标签进行事件抽取的研究.
2.2 基于远程监督的事件抽取远程监督(distant supervision, DS)可以为事件抽取自动生成大规模标注数据[56]. 为了解决数据标注问题, Chen 等人[57]利用远程监督方法结合Freebase[58]构建了一个基于维基百科的事件数据集. 他们通过Freebase找出事件关键论元, 自动检测事件和触发词, 利用FrameNet[59]过滤噪声. 实验结果表明, 该模型能够学到合理权重来缓解远程监督中噪声问题, 同时还充分挖掘有用信息. 而Zeng等人[60]则从维基百科和 Freebase中自动生成训练事件抽取的数据, 将事件抽取训练实例从数千个扩展到数十万个. 该模型集成了远程监督的知识库, 自动从未标记文本中标注事件数据, 并开发了一个基于Bi-LSTM和CRF的联合神经网络模型. 实验结果证明, 该模型可以与已有的数据相结合自动抽取事件, 还可以进行多类型的事件检测. Keith等人[61]利用2016年全年收集的警察死亡语料库, 提出了一个基于特征逻辑回归和卷积神经网络分类器的远程监督模型. 通过实验结果可以看出, 该模型与现有的抽取模型的F1值相比有所提高, 说明其方法可以更好地进行事件抽取, 但是仍存在人工标注导致的错误传播的问题. Rao等人[62]提出了一种抽象意义表示(AMR)的方法识别生物医学文本分子事件. 他们对事件结构的AMR子图进行假设验证, 在给定AMR的情况下利用远程监督神经网络模型, 识别事件子图. 通过对其在BioNLP共享任务的GENIA事件抽取子任务[63]上实验表明, 仅以蛋白质为论元的简单事件下F1值达到了94.74%, 而复杂事件下降到了74.18%, 这是由于AMR存在错误解析导致的.
2.3 对事件抽取中深度学习方法的探索FrameNet (FN)中的帧由一个词法单元和一组帧元素组成, 分别扮演与ACE事件触发词和论元相似的角色, 缓解了ACE数据集事件类型稀疏的问题. Liu等人[64]提出了一种基于概率软逻辑的全局推理方法检测FN事件. 他们还构建了Event-FN数据集, 缓解了数据稀疏的问题. 通过实验证明, 该方法可以实现相关事件类型之间的信息共享. Wadden等人[65]把全局上下文合并到IE框架中, 提出了一种基于上下文的跨实体、关系和事件抽取框架(DYGIE++). 该方法在ACE 2005数据集上, 事件触发检测和论元角色分类的F1值分别为76.5%和52.5%. 他们对其他数据集也进行了验证, 都优于对比的模型.
Yang等人[66]对事件、实体及篇章内不同事件的依赖关系进行建模, 提出了一种完全端到端学习的模型. 实验结果表明, 该模型在事件类型分类和论元识别的任务中F1值都提高了1.0%. Han等人[67]利用端到端的方法, 提出了一种基于共享表示与结构化预测的联合事件和时间关系抽取模型. 他们运用两阶段学习方法, 首先允许事件和关系模块共享相同的上下文嵌入与神经表示, 其次利用结构化的推理和学习方法共同分配事件和事件关系标签, 避免了常规管道系统中错误传播的问题. 对其进行实验的F1值分别提高了10%和6.8%, 说明该模型对于端到端事件和时间关系抽取是有效的.
在事件抽取的过程中, 总是有数据不平衡的问题出现, 而且训练数据稀少也会影响模型的训练效果. 针对这些问题, Zhang等人[68]提出了一种基于迁移学习的神经网络框架(JointTransition), 采用从左到右的递增阅读顺序捕获实体和事件提及的依赖结构. 在ACE 2005数据集上的实验表明, 事件触发词分类的任务中F1值达到了73.8%, 证明了该方法的有效性. Lu等人[69]提出了一种基于蒸馏学习和知识泛化的△表示学习方法. 实验结果表明, 在ACE 2005数据集上F1值提高了0.7%, 在TAC-KBP 2017数据集上F1值提高了1.53%. Deng等人[70]提出了一种基于动态内存的原型网络(DMB-PN), 包括了事件触发词识别和few-shot事件分类两个阶段. 他们还定义 “few-shot事件检测”新问题, 也创建了新的数据集FewEvent. 实验结果表明, DMB-PN不仅比其他基准模型更好地处理数据稀缺的问题, 而且在事件类型多样和数据极少的情况下模型的性能较好. Deng等人[71]在2021年提出了一种基于本体嵌入的ED模型(OntoED), 同时构建了一个新的数据集OntoEvent. 实验结果表明, 在事件角色识别和事件类型分类的任务中F1值比JMEE模型分别提高了15.32%和6.85%, 证明了其方法鲁棒性较好.
另外, 一些工作还通过结合预训练模型提高事件抽取的性能. Yang等人[72]针对手工创建的数据费力且数量有限的问题, 提出了一种基于语言生成预训练的事件抽取模型(PLMEE). 他们为了解决训练数据不足的问题, 采用原型网络自动生成标注数据. 在ACE 2005数据集上的实验表明, 事件类型分类和论元分类的任务中F1值分别为81.1%和58.9%. 2020年, Du等人[73]则针对错误传播的问题, 提出了一种基于问答任务的事件抽取模型. 他们在预训练BERT的基础上将事件抽取转换为问答任务, 并以此为模型在事件触发词识别和论元分类任务上的F1值分别提高了0.39%和0.81%.
Gangal等人[74]针对RAMS数据集在事件论元抽取中准确率存在较大差距的问题, 提出了一种基于预训练BERT的事件论元抽取方法(BERTering RAMS). 实验结果表明, 该方法具有较好的跨句准确性. Zhang等人[75]为了减少候选论元数量的问题, 提出了一种两步隐式事件论元检测方法, 将问题分解为两个子问题: 论元头词检测和头跨度扩展, 其中编码模块采用了预训练BERT进行上下文编码. 在RAMS数据集上的实验结果表明, 该模型获比其他对比模型的性能更好.
在生物医学上识别触发词相关联的嵌套结构化事件时准确率不高, Huang等人[76]提出了一种基于层次知识图的生物医学事件抽取方法(GEANet-SciBERT). 该方法在预训练语言模型SciBERT[77]的基础上, 加入了一种新的图神经网络模型GEANet作为补充. 在BioNLP 2011 GENIA事件抽取任务中, 该方法在所有事件和复杂事件上F1值分别提高1.41%和3.19% .
2.4 对中文事件抽取方法的研究中文事件抽取不仅存在比英文更加严重的数据稀缺问题, 而且也存在方法层面和语言特性层面的问题. 中文语言词语间还没有显式间隔, 在进行分词时会出现比英文更加明的错误和误差. 中文语言的复杂性和灵活性让相同语义的词语、短语和句子有更多表达方式, 即同一类型事件触发词可以使用更多词语表达.
根据现有的中文事件抽取相关研究, 从文本粒度方面可以将其分为两类: 句子级事件抽取和篇章级事件抽取. 其中, 句子级事件抽取主要是利用句子内部获取特征, 即识别句子的中文触发词, 并判断实体在事件中所扮演的角色. 而篇章级事件抽取主要包含了跨句、跨文档抽取的特征信息.
2.4.1 基于句子级的中文事件抽取方法句子级事件抽取主要是识别句子中每个词可能提及的单个事件, 以及判断句子实体在该事件中扮演的角色.
以往的研究中, 一直存在单词和事件触发词不匹配的问题, 2018年Lin等人[78]提出了一种基于区块提议网络的模型(NPNs), 如图4所示. NPNs是以字符方式的范例进行事件检测, 首先学习每个字符的混合表示, 在字符和单词中获取结构信息和语义信息; 然后用基于表示学习的方法进行中文事件触发词识别同时进行事件分类. 在ACE 2005和TAC-KBP 2017数据集上的实验表明, 触发检测上F1值分别提高了2.3%和3.43%, 类型识别上F1值分别提高了1.6%和1.51%. 为了解决论元角色重叠的问题, 2020年Xu等人[79]在提出了一种中文联合事件抽取框架(JMCEE). 该框架主要是从预训练的BERT语言模型共享特征表示的事件触发和论元特征, 然后联合进行预测. 在中文ACE 2005数据集上的实验表明, 与NPNs相比, 在事件触发识别和分类中F1值分别提高了14.5%和8.1%.
Liu等人[80]提出了一种基于触发检测动态记忆网络(TD-DMN). 他们利用了动态记忆网络的多跳机制更改捕获的上下文信息, 将事件触发检测转换为一个问答问题. 通过在ACE 2005数据集上进行实验证明, 多跳机制的引入可以使模型性能提高. 在中文事件触发词抽取中存在语义信息和部分事件实例无法有效抽取的问题, 李培峰等人[81]提出了一种基于语义的中文事件触发词抽取联合学习模型. 在ACE 2005中文数据集进行的实验表明, 该方法模型的性能效果较好. Feng等人[18]采用CNN与Bi-LSTM结合的混合神经网络, 捕获特定上下文的序列信息和短语信息. 他们的方法不需要特征工程参与, 是一种与语言无关的模型. 实验表明, 在英文事件识别中F1值达到了73.4%, 在中文和西班牙语中平均提高了3.0%. Zeng等人[82]提出了一个基于卷积Bi-LSTM的中文事件抽取模型, 将LSTM和CNN结合起来捕获词级和句子级信息.
事件检测一般是在原始文本中定位触发词后, 将其分类到正确的事件类型. 但是, 涉及到没有自然分隔符的语言(如中文)时, 会出现触发词不匹配和定位不准确的问题, Ding等人[24]提出了一种基于触发感知的Lattice神经网络模型(TLNN). 实验结果表明, 在ACE 2005和KBP 2017数据集上均优于其他深度学习模型, 证明了该模型可以提高触发词定位的准确性和事件分类的准确性. 2019年, Subburathinam等人[83]提出了一种跨语言迁移学习的关系与事件抽取模型. 他们利用跨语言关系和事件相关语言通用性, 结合图卷积网络将所有事件实体、触发词和上下文表示为复杂结构化的多语言公共空间. 该方法在英文、中文和阿拉伯语中的实验表明, 其在事件论元角色识别上F1值达到了63.1%, 验证了跨语言迁移学习方法的可行性.
2.4.2 基于篇章级的中文事件抽取方法篇章级事件抽取以文本中描述的主要事件为中心, 用简洁、结构化的形式呈现给用户. 篇章级事件抽取方法还额外考虑了跨句子或跨文档的特征辅助任务实现. 例如, 相同/类似事件对应的论元一致性, 同一文档内的相同单词触发的事件类型一致性特征, 相同类型的实体参与的事件一致性特征.
2018年, Yang等人[84]针对现有研究中数据稀缺的问题, 以及事件抽取都是从一个句子中抽取事件的情形, 提出了一个篇章级中文金融事件抽取系统(DCFEE), 能够自动生成大规模的标签数据, 同时可以从整个文档中抽取事件. 实验表明, 该方法不需要人工标注数据, 可以自动从文档中抽取中文金融事件. 2019年, 仲伟峰等人[85]提出了一种基于联合标注和全局推理的篇章级事件抽取方法, 主要是利用注意力机制的序列标注模型联合抽取句子级事件的触发词和实体, 然后利用多层感知机判断实体在事件中扮演的角色. 在ACE2005数据集上, 验证了模型的有效性. 2020年, 朱培培等人[86]针对中文事件检测方法获得的局部上下文的信息不足以解决事件触发词的歧义性的问题, 提出了一种基于篇章信息和Bi-GRU的中文事件检测方法. 在ACE2005 数据集上的实验结果表明, 该方法比当前最好的模型的F1 值提高了1.5%.
2.5 数据集事件抽取中常用的数据集主要包括ACE 2005、TAC-KBP、BioNLP-ST、GENIA、MLEE和CEC[87], 其中ACE 2005是应用最广泛的数据集.
ACE数据集是语言数据联盟(linguistic data consortium, LDC)发布的, 由实体、关系和事件注释组成的各种类型的数据[2]. ACE 2005事件数据集定义了8个事件类型和33个子类型, 每个事件子类型对应一组论元角色, 是来自媒体、广播新闻等不同方面的英文、中文和阿拉伯语事件. 表5描述了相关的事件类型和其子类型.
|
|
Table 5 Event types and subtypes in ACE 2005 表 5 ACE 2005中的事件类型和子类型 |
TAC-KBP数据集已在2015年TAC会议事件检测评估中发布[5]. TAC-KBP中的事件类型和子类型是根据ACE语料库定义的, 包括9个事件类型和38个子类型. TAC-KBP 2015为英文语料库, 但TAC-KBP 2016为所有任务添加了中文和西班牙语数据.
生物医学领域的事件抽取数据集, 常见的是BioNLP-ST、GENIA、MLEE和PC等. BioNLP-ST是从生物医学领域科学文献的生物分子事件抽取中获得的, 包括GE、CG、PC、GRO、GRN和BB [88]等任务. GENIA事件数据集是为GENIA项目编写并标注的生物医学文献集合事件. 而MLEE数据集是分子到器官系统的多个生物组织水平的事件. PC数据集则是与生物分子途径模型有关的反应事件.
除了上述常见的数据集外, 还有一些其他领域的数据集, 如中文突发事件语料库CEC (Chinese emergency corpus) [87]是由上海大学语义智能实验室所构建, 选取了地震、火灾、交通事故、恐怖袭击和食物中毒这5类突发事件的新闻报道进行标注, 合计有332篇. 与ACE数据集相比, CEC较小, 但它在事件和事件论元的注释方面更全面. TERQAS研讨会建立了一个名为TimeBANK数据集, 主要用于突发新闻事件抽取[89]. 还有军事情报领域的MUC数据集[90]、丁效等人的音乐领域事件抽取数据集[91] , 以及Yang的中文金融事件抽取数据集[92,93].
2.6 模型性能及评价事件抽取常采用准确率(precision, P)、召回率(recall, R)和F1值(F1-measure, F1) 这3 项作为基本评价指标. 其中, P是指系统中抽取出的正确个数占抽取出总数的比例, 用来衡量抽取准确程度; R是指系统中正确抽取的个数占所有正确总数的比例, 用来衡量抽取全面程度; F1值是P和R的加权平均值, 作为系统性能的总体评价. 事件抽取所采用的这3个评价指标的具体公式如下:
| $ P = \frac{{TP}}{{TP + FP}}, $ |
| $ R = \frac{{TP}}{{TP + FN}}, $ |
| $ F1 = \frac{{2 \times P \times R}}{{P + R}}. $ |
事件抽取模型的性能通常通过F1值来综合判断, F1值越大, 模型抽取的效果越好. 表6对比了深度学习模型在ACE 2005英文数据集实验的F1值.
|
|
Table 6 Model performance on the ACE 2005 English dataset 表 6 ACE 2005英文数据集上的模型性能 (%) |
● 触发词检测(trigger detection): 如果触发偏移量正确(即, 触发词在文本中相应位置), 则可以正确检测到该触发词的正确匹配.
● 类型识别(type identification): 如果触发偏移量和事件类型都与参考触发及其事件类型匹配, 则可以正确识别事件类型.
● 论元检测(argument detection): 如果论元的偏移量与任何参考论元匹配, 则可以正确检测到论元提及(即正确识别事件中的论元).
● 角色识别(role identification): 论元角色的事件类型, 偏移量和角色与任何参考论元提及匹配时, 将正确识别论元角色.
从表6中F1值的结果, 我们可以注意到并非所有模型都对触发检测、类型识别、论元检测和角色识别这4个任务进行了实验, 因为其中一些模型仅需要实现某些子任务. 表中对深度学习的方法进行实验得到的最高的F1值为GAN中的触发检测77.0%和GCN中的类型识别77.6%、论元检测68.4%、角色识别60.3%, 均高于CNN与RNN的深度学习方法中的76.8%、74.2%、68.4%和59.3%. 这一结果验证了随着深度学习技术的发展, 其对事件抽取性能的提升效果较好. 由CNN和RNN相关模型的实验结果对比可知, RNN中对于LSTM、GRU等方法的使用以及结合Attention机制效果明显比传统的CNN模型更好, 特别是事件类型识别和论元检测任务的提升更明显. 由CNN、RNN、GCN、GAN和其他深度学习方法的实验结果对比可知, 在事件抽取任务中引入生成对抗网络和图卷积网络模型的性能提升更高. 由此可知, 表6中的数据说明模型的性能不仅受事件抽取任务的影响, 还取决于所使用的深度学习方法, 并且采用不同方法进行实验得到的事件抽取性能往往有较大差距.
接下来, 对中文事件抽取在ACE 2005数据集上的实验结果, 也进行了对比, 具体如表7所示.
|
|
Table 7 Comparison of ACE 2005 data sets in Chinese event extraction models 表 7 ACE 2005 数据集在中文事件抽取模型的对比 (%) |
在表7中, 中文事件抽取模型主要是围绕Chen等人[94]提出的Rich-C作为baseline展开的, 其中Rich-C是通过联合学习事件触发特征和事件类型一致性特征来进行抽取的. 从表7的实验结果可以得出, 在事件触发词检测和事件类型识别中Bi-GRU-doc模型的F1值分别是76.4%和71.7%, 比Rich-C的高了9.7%和8.5%, 从这里可以看出基于篇章级的神经网络模型, 利用句子上下文信息对中文事件抽取是有效的. TLNN模型的R值也比Rich-C模型分别高了2.78%和3.37%, 证明了该模型可以提高触发词定位的准确性和事件分类的准确性. C-BiLSTM和 NPNs在事件触发词和事件类型识别的P、R、F1都高于Rich-C的, 这说明了深度学习模型在中文事件抽取上是可行的. 由此可知, 表7中的数据说明了中文事件模型的性能不仅受词语的语义影响, 还取决于对深度学习方法的运用, 基于中文篇章级和字符信息融合的方法, 有利于解决中文事件触发词和类型稀疏的问题.
3 事件抽取面临的挑战及研究趋势事件抽取作为信息抽取中的重要任务之一, 能够检测句子提到的某些事件, 也可以对事件类型进行分类与识别事件论元. 它为知识图谱、推荐系统、信息检索等任务提供基础的数据支持, 同时, 事件抽取在语义分析、篇章理解、自动问答等领域也具有重要意义. 然而, 人工智能的发展对事件抽取的准确性提出了更高的要求, 深度学习虽已成为事件抽取的关键技术, 但在领域自适应性和召回率方面仍有很大的提升空间.
(1)结合深度学习技术进展的事件抽取研究. 事件抽取是在事件触发和论元识别的基础上发展起来的. 它在某种程度上取决于事件类型、触发词识别和论元检测的效果, 但是这些基础技术准确率不高. 在深度学习技术被大规模使用后, 事件抽取的效果得到了很大的提升. 2015年至今, 该领域的研究热点集中于CNN、RNN、GAN、GCN以及Attention机制、少样本学习、预训练技术等方法的研究, 还有联合多种网络来进行事件抽取. 在事件抽取中, 如何更有效地结合最新的深度学习技术进行抽取的研究是未来的一个重要趋势.
(2)段落级和篇章级事件抽取的研究. 近几年的事件抽取工作主要聚集在利用深度学习方法进行句子级事件抽取, 而实际应用时同一事件经常出现在不同句子中, 这时需要通过整个篇章确定事件的具体情况. 同时, 还存在抽取的事件信息不完整的问题, 在日常应用中, 我们经常要了解事件发生的全过程. 现有基于深度学习的跨句子级事件抽取模型性能较差, 但是段落甚至篇章级的事件抽取要求深度模型具有更复杂的推理能力、更高的准确率以及更好的灵活性, 未来利用深度学习技术融合多个句子进行段落和篇章级事件抽取是一个重要的研究方向.
(3)面向特定领域事件抽取系统的设计与研究. 基于特征或传统机器学习的事件抽取方法, 已经覆盖了多数可能的输入和特征, 而基于深度学习的模型往往依赖网络的复杂程度带来对隐含事件信息挖掘性能的提升. 面向特定领域事件抽取系统的领域与深度学习技术更好地融合, 进行可扩展性与可移植性的进一步提升是将来的关键研究内容.
(4)跨语言、跨领域的事件抽取的研究. 目前, 事件抽取的水平还限制在对独立语言、单一领域的事件文本处理上, 跨语言、跨领域的研究尚处于探索阶段. 例如, 在中文事件抽取的相关研究主要集中在生物医学、微博、新闻、紧急情况等方面, 其他领域和跨语言事件抽取技术的研究很少. 随着深度学习技术的进一步完善, 跨语言、跨领域的事件抽取必将成为研究热点.
(5)事件抽取中的深度迁移学习的研究. 在事件抽取中, 由于触发词特征和数据集注释的不同, 可能无法在其他文本上很好地进行研究. 尽管有一些迁移学习技术已应用在事件抽取的研究中, 但涉及比较少. 针对深度迁移学习技术的进一步研究, 有利于我们开发一个健壮的识别器来识别不同领域的事件类型, 探索事件抽取任务中的少样本、零样本学习, 解决领域不匹配和跨域不匹配的问题.
(6)基于远程监督的事件抽取的深入研究. 为了缓解远程监督中经常会出现的错误标签问题, 研究者们分别结合多示例学习、注意力机制、噪声建模等方法提出了多种模型, 但如何建立更有效的方法缓解远程监督中错误标签的影响仍是事件抽取中研究的重点问题.
4 结论及展望在本文中, 对深度学习中事件抽取技术进行了全面最新的概述. 事件抽取发展至今, 在研究内容上逐渐由单一领域向多领域、跨领域发展, 事件类型的定义方式表示为由人工预先定义转变为事件类型自动发现、挖掘; 在研究方法上, 深度学习的方法在事件抽取任务的性能上表现良好, 基于深度学习的框架日益成为主流, 在此基础上结合远程监督、强化学习、少样本学习和零资源学习的思想等可以为事件抽取性能的提升提供新思路. 特别是, 中文事件抽取的任务复杂, 将深度学习的方法应用在其中, 是今后需要努力的一个方向.
| [1] |
Grishman R, Sundheim B. Message understanding conference-6: A brief history. In: Proc. of the 16th Conf. on Computational Linguistics. Copenhagen: Association for Computational Linguistics, 1996. 466–471.
|
| [2] |
Missingham R. Access to Australian Government information: A decade of change 1997–2007. Government Information Quarterly, 2008, 25(1): 25-37.
[doi:10.1016/j.giq.2007.07.001] |
| [3] |
Ahn D. The stages of event extraction. In: Proc. of the 2006 Workshop on Annotating and Reasoning about Time and Events. Sydney: Association for Computational Linguistics, 2006. 1–8.
|
| [4] |
Malakasiotis P. AUEB at TAC 2009. In: Proc. of the 2nd Text Analysis Conf. Gaithersburg: NIST, 2009. 1–6.
|
| [5] |
Mitamura T, Liu ZZ, Hovy EH. Overview of TAC KBP 2015 event nugget track. In: Proc. of the 2015 Text Analysis Conf. Gaithersburg: NIST, 2015. 1–11.
|
| [6] |
LeCun Y, Bengio Y. Convolutional networks for images, speech, and time series. In: Arbib MA, ed. The Handbook of Brain Theory and Neural Networks. Cambridge: MIT Press, 1995. 255–258.
|
| [7] |
Kombrink S, Mikolov T, Karafiát M, Burget L. Recurrent neural network based language modeling in meeting recognition. In: Proc. of the 12th Annual Conf. of the Int’l Speech Communication Association. Florence: ISCA, 2011. 2877–2880.
|
| [8] |
Goodfellow IJ, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A, Bengio Y. Generative adversarial nets. In: Proc. of the 27th Int’l Conf. on Neural Information Processing Systems. Montreal: MIT Press, 2014. 2672–2680.
|
| [9] |
Kipf TN, Welling M. Semi-supervised classification with graph convolutional networks. In: Proc. of the 5th Int’l Conf. on Learning Representations. Toulon: OpenReview.net, 2017. 1–14.
|
| [10] |
Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. In: Proc. of the 3rd Int’l Conf. on Learning Representations. San Diego: ICLR, 2015. 1–15.
|
| [11] |
Zeng DJ, Liu K, Lai SW, Zhou GY, Zhao J. Relation classification via convolutional deep neural network. In: Proc. of the 25th Int’l Conf. on Computational Linguistics. Dublin: Dublin City University and Association for Computational Linguistics, 2014. 2335–2344.
|
| [12] |
Tang DY, Qin B, Liu T. Document modeling with gated recurrent neural network for sentiment classification. In: Proc. of the 2015 Conf. on Empirical Methods in Natural Language Processing. Lisbon: Association for Computational Linguistics, 2015. 1422–1432.
|
| [13] |
Schuster M, Paliwal KK. Bidirectional recurrent neural networks. IEEE Trans. on Signal Processing, 1997, 45(11): 2673-2681.
[doi:10.1109/78.650093] |
| [14] |
Chen YB, Xu LH, Liu K, Zeng DJ, Zhao J. Event extraction via dynamic multi-pooling convolutional neural networks. In: Proc. of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int’l Joint Conf. on Natural Language Processing. Beijing: Association for Computational Linguistics, 2015. 167–176.
|
| [15] |
Nguyen TH, Grishman R. Event detection and domain adaptation with convolutional neural networks. In: Proc. of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int’l Joint Conf. on Natural Language Processing. Beijing: Association for Computational Linguistics, 2015. 365–371.
|
| [16] |
Nguyen TH, Grishman R. Modeling skip-grams for event detection with convolutional neural networks. In: Proc. of the 2016 Conf. on Empirical Methods in Natural Language Processing. Austin: Association for Computational Linguistics, 2016. 886–891.
|
| [17] |
Wang XZ, Wang ZQ, Han X, Liu ZY, Li JZ, Li P, Sun MS, Zhou J, Ren X. HMEAE: Hierarchical modular event argument extraction. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 5777–5783.
|
| [18] |
Feng XC, Huang LF, Tang DY, Ji H, Qin B, Liu T. A language-independent neural network for event detection. In: Proc. of the 54th Annual Meeting of the Association for Computational Linguistics. Berlin: Association for Computational Linguistics, 2016. 66–71.
|
| [19] |
Nguyen TH, Cho K, Grishman R. Joint event extraction via recurrent neural networks. In: Proc. of the 2016 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego: Association for Computational Linguistics, 2016. 300–309.
|
| [20] |
Chen YB, Liu SL, He SZ, Liu K, Zhao J. Event extraction via bidirectional long short-term memory tensor neural networks. In: Proc. of the 15th China National Conf. on Chinese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data. Yantai: Springer, 2016. 190–203.
|
| [21] |
Sha L, Qian F, Chang BB, Sui ZF. Jointly extracting event triggers and arguments by dependency-bridge RNN and tensor-based argument interaction. In: Proc. of the 32nd AAAI Conf. on Artificial Intelligence (AAAI2018), the 30th Innovative Applications of Artificial Intelligence (IAAI2018), and the 8th AAAI Symp. on Educational Advances in Artificial Intelligence (EAAI2018). New Orleans: AAAI, 2018. 5916–5923.
|
| [22] |
Orr JW, Tadepalli P, Fern X. Event detection with neural networks: A rigorous empirical evaluation. In: Proc. of the 2018 Conf. on Empirical Methods in Natural Language Processing. Brussels: Association for Computational Linguistics, 2018. 999–1004.
|
| [23] |
Chen YB, Yang H, Liu K, Zhao J, Jia YT. Collective event detection via a hierarchical and bias tagging networks with gated multi-level attention mechanisms. In: Proc. of the 2018 Conf. on Empirical Methods in Natural Language Processing. Brussels: Association for Computational Linguistics, 2018. 1267–1276.
|
| [24] |
Ding N, Li ZR, Liu ZY, Zheng HT, Lin ZB. Event detection with trigger-aware lattice neural network. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 347–356.
|
| [25] |
Hong Y, Zhou WX, Zhang JL, Zhou GD, Zhu QM. Self-regulation: Employing a generative adversarial network to improve event detection. In: Proc. of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne: Association for Computational Linguistics, 2018. 515–526.
|
| [26] |
Wang R, Zhou DY, He YL. Open event extraction from online text using a generative adversarial network. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 282–291.
|
| [27] |
Nguyen TH, Grishman R. Graph convolutional networks with argument-aware pooling for event detection. In: Proc. of the 32nd AAAI Conf. on Artificial Intelligence and the 30th Innovative Applications of Artificial Intelligence Conf. and the 8th AAAI Symp. on Educational Advances in Artificial Intelligence. New Orleans: AAAI, 2018. 5900–5907.
|
| [28] |
Yan HR, Jin XL, Meng XB, Guo JF, Cheng XQ. Event detection with multi-order graph convolution and aggregated attention. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 5766–5770.
|
| [29] |
Collobert R, Weston J, Bottou L, Karlen M, Kavukcuoglu K, Kuksa R. Natural language processing (almost) from scratch. The Journal of Machine Learning Research, 2011, 12: 2493-2537.
[doi:10.5555/1953048.2078186] |
| [30] |
Li Q, Ji H, Huang L. Joint event extraction via structured prediction with global features. In: Proc. of the 51st Annual Meeting of the Association for Computational Linguistics. Sofia: Association for Computational Linguistics, 2013. 73–82.
|
| [31] |
Lei T, Barzilay R, Jaakkola T. Molding CNNs for text: Non-linear, non-consecutive convolutions. In: Proc. of the 2015 Conf. on Empirical Methods in Natural Language Processing. Lisbon: Association for Computational Linguistics, 2015. 1565–1575.
|
| [32] |
Zhang TT, Whitehead S, Zhang HW, Li HZ, Ellis J, Huang LF, Liu W, Ji H, Chang SF. Improving event extraction via multimodal integration. In: Proc. of the 25th ACM Int’l Conf. on Multimedia. Mountain View: ACM, 2017. 270–278.
|
| [33] |
Liu WY, Nguyen TH. Similar but not the same: Word sense disambiguation improves event detection via neural representation matching. In: Proc. of the 2018 Conf. on Empirical Methods in Natural Language Processing. Brussels: Association for Computational Linguistics, 2018. 4822–4828.
|
| [34] |
Lin HY, Lu YJ, Han XP, Sun L. Cost-sensitive regularization for label confusion-aware event detection. In: Proc. of the 57th Annual Meeting of the Association for Computational Linguistics. Florence: Association for Computational Linguistics, 2019. 5278–5283.
|
| [35] |
Li LS, Liu Y, Qin MY. Extracting biomedical events with parallel multi-pooling convolutional neural networks. IEEE/ACM Trans. on Computational Biology and Bioinformatics, 2020, 17(2): 599-607.
[doi:10.1109/TCBB.2018.2868078] |
| [36] |
Pyysalo S, Ohta T, Miwa M, Cho HC, Tsujii J, Ananiadou S. Event extraction across multiple levels of biological organization. Bioinformatics, 2012, 28(18): i575-i581.
[doi:10.1093/bioinformatics/bts407] |
| [37] |
Zhu LX, Zheng HR. Biomedical event extraction with a novel combination strategy based on hybrid deep neural networks. BMC Bioinformatics, 2020, 21(1): 47.
[doi:10.1186/s12859-020-3376-2] |
| [38] |
Ramponi A, Plank B, Lombardo R. Cross-domain evaluation of edge detection for biomedical event extraction. In: Proc. of the 12th Language Resources and Evaluation Conf. Marseille: European Language Resources Association, 2020. 1982–1989.
|
| [39] |
Goller C, Kuchler A. Learning task-dependent distributed representations by backpropagation through structure. In: Proc. of the 1996 Int’l Conf. on Neural Networks. Washington: IEEE, 1996. 347–352.
|
| [40] |
Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8): 1735-1780.
[doi:10.1162/neco.1997.9.8.1735] |
| [41] |
Cho K, van Merriënboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, Bengio Y. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In: Proc. of the 2014 Conf. on Empirical Methods in Natural Language Processing. Doha: Association for Computational Linguistics, 2014. 1724–1734.
|
| [42] |
Duan SY, He RF, Zhao WL. Exploiting document level information to improve event detection via recurrent neural networks. In: Proc. of the 8th Int’l Joint Conf. on Natural Language Processing. Taipei: Asian Federation of Natural Language Processing, 2017. 352–361.
|
| [43] |
Nguyen TM, Nguyen TH. One for all: Neural joint modeling of entities and events. Proc. of the AAAI Conf. on Artificial Intelligence, 2019, 33(1): 6851–6858.
|
| [44] |
Wu WT, Zhu XX, Tao JM, Li PF. Event detection via recurrent neural network and argument prediction. In: Proc. of the 7th CCF Int’l Conf. on Natural Language Processing and Chinese Computing. Hohhot: Springer, 2018. 235–245.
|
| [45] |
Ding RX, Li ZJ. Event extraction with deep contextualized word representation and multi-attention layer. In: Proc. of the 14th Int’l Conf. on Advanced Data Mining and Applications. Nanjing: Springer, 2018. 189–201.
|
| [46] |
Zhang JL, Zhou Wx, Hong Y, Yao JM, Zhang M. Using entity relation to improve event detection via attention mechanism. In: Proc. of the 7th CCF Int’l Conf. on Natural Language Processing and Chinese Computing. Hohhot: Springer, 2018. 171–183.
|
| [47] |
Liu W, Yang ZY, Liu ZT. Chinese event recognition via ensemble model. In: Proc. of the 25th Int’l Conf. on Neural Information Processing. Siem Reap: Springer, 2018. 255–264.
|
| [48] |
Zhao Y, Jin XL, Wang YZ, Cheng XQ. Document embedding enhanced event detection with hierarchical and supervised attention. In: Proc. of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne: Association for Computational Linguistics, 2018. 414–419.
|
| [49] |
Chen JL, Hong Y, Zhang JL, Yao JM. Using mention segmentation to improve event detection with multi-head attention. In: Proc. of the 2019 Int’l Conf. on Asian Language Processing. Shanghai: IEEE, 2019. 367–372.
|
| [50] |
Mehta S, Islam MR, Rangwala H, Ramakrishnan N. Event detection using hierarchical multi-aspect attention. In: Proc. of the 2019 World Wide Web Conf. San Francisco: ACM, 2019. 3079–3085.
|
| [51] |
Huang XF. Event extraction based on dynamic masked attention. Application Research of Computers, 2020, 37(7): 1964-1968(in Chinese with English abstract).
[doi:10.19734/j.issn.1001-3695.2018.12.0927] |
| [52] |
Zhang TT, Ji H. Event extraction with generative adversarial imitation learning. arXiv:1804.07881, 2018.
|
| [53] |
Liu J, Chen YB, Liu K. Exploiting the ground-truth: An adversarial imitation based knowledge distillation approach for event detection. Proc. of the 2019 AAAI Conf. on Artificial Intelligence, 2019, 33(1): 6754–6761.
|
| [54] |
Liu X, Luo ZC, Huang HY. Jointly multiple events extraction via attention-based graph information aggregation. In: Proc. of the 2018 Conf. on Empirical Methods in Natural Language Processing. Brussels: Association for Computational Linguistics, 2018. 1247–1256.
|
| [55] |
Cui SY, Yu BW, Liu TW, Zhang ZY, Wang XB, Shi JQ. Edge-enhanced graph convolution networks for event detection with syntactic relation. arXiv:2002.10757, 2020.
|
| [56] |
Zeng DJ, Liu K, Chen YB, Zhao J. Distant supervision for relation extraction via piecewise convolutional neural networks. In: Proc. of the 2015 Conf. on Empirical Methods in Natural Language Processing. Lisbon: Association for Computational Linguistics, 2015. 1753–1762.
|
| [57] |
Chen YB, Liu SL, Zhang X, Liu K, Zhao J. Automatically labeled data generation for large scale event extraction. In: Proc. of the 55th Annual Meeting of the Association for Computational Linguistics. Vancouver: Association for Computational Linguistics, 2017. 409–419.
|
| [58] |
Bollacker K, Evans C, Paritosh P, Sturge T, Taylor J. Freebase: A collaboratively created graph database for structuring human knowledge. In: Proc. of the 2008 ACM SIGMOD Int’l Conf. on Management of Data. Vancouver: ACM, 2008. 1247–1250.
|
| [59] |
Baker CF, Fillmore CJ, Lowe JB. The Berkeley FrameNet project. In: Proc. of the 36th Annual Meeting of the Association for Computational Linguistics and the 17th Int’l Conf. on Computational Linguistics. Montreal: Association for Computational Linguistics, 1998. 86–90.
|
| [60] |
Zeng Y, Feng YS, Ma R, Wang Z, Yan R, Shi CD, Zhao DY. Scale up event extraction learning via automatic training data generation. In: Proc. of the 32nd AAAI Conf. on Artificial Intelligence and the 30th Innovative Applications of Artificial Intelligence Conf. and the 8th AAAI Symp. on Educational Advances in Artificial Intelligence. New Orleans: AAAI, 2018. 742.
|
| [61] |
Keith KA, Handler A, Pinkham M, Magliozzi C, McDuffie J, O’Connor B. Identifying civilians killed by police with distantly supervised entity-event extraction. In: Proc. of the 2017 Conf. on Empirical Methods in Natural Language Processing. Copenhagen: Association for Computational Linguistics, 2017. 1547–1557.
|
| [62] |
Rao S, Marcu D, Knight K, Daumé III H. Biomedical event extraction using abstract meaning representation. In: Proc. of the 2017 BioNLP. Vancouver: Association for Computational Linguistics, 2017. 126–135.
|
| [63] |
Kim JD, Wang Y, Takagi T, Yonezawa A. Overview of genia event task in BioNLP shared task 2011. In: Proc. of the 2011 BioNLP Shared Task Workshop. Portland: Association for Computational Linguistics, 2011. 7–15.
|
| [64] |
Liu SL, Chen YB, He SZ, Liu K, Zhao J. Leveraging framenet to improve automatic event detection. In: Proc. of the 54th Annual Meeting of the Association for Computational Linguistics. Berlin: Association for Computational Linguistics, 2016. 2134–2143.
|
| [65] |
Wadden D, Wennberg U, Luan Y, Hajishirzi H. Entity, relation, and event extraction with contextualized span representations. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 5784–5789.
|
| [66] |
Yang BS, Mitchell TM. Joint extraction of events and entities within a document context. In: Proc. of the 2016 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego: Association for Computational Linguistics, 2016. 289–299.
|
| [67] |
Han RJ, Ning Q, Peng NY. Joint event and temporal relation extraction with shared representations and structured prediction. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 434–444.
|
| [68] |
Zhang JC, Qin YX, Zhang Y, Liu MC, Ji DH. Extracting entities and events as a single task using a transition-based neural model. In: Proc. of the 28th Int’l Joint Conf. on Artificial Intelligence. Macao: IJCAI.org, 2019. 5422–5428.
|
| [69] |
Lu YJ, Lin HY, Han XP, Sun L. Distilling discrimination and generalization knowledge for event detection via delta-representation learning. In: Proc. of the 57th Annual Meeting of the Association for Computational Linguistics. Florence: Association for Computational Linguistics, 2019. 4366–4376.
|
| [70] |
Deng SM, Zhang NY, Kang JJ, Zhang YC, Zhang W, Chen HJ. Meta-learning with dynamic-memory-based prototypical network for few-shot event detection. In: Proc. of the 13th Int’l Conf. on Web Search and Data Mining. Houston: ACM, 2020. 151–159.
|
| [71] |
Deng SM, Zhang NY, Li LQ, Chen H, Tou HX, Chen MS, Huang F, Chen HJ. OntoED: Low-resource event detection with ontology embedding. In: Proc. of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th Int’l Joint Conf. on Natural Language Processing. Association for Computational Linguistics, 2021. 2828–2839.
|
| [72] |
Yang S, Feng DW, Qiao LB, Kan ZG, Li DS. Exploring pre-trained language models for event extraction and generation. In: Proc. of the 57th Annual Meeting of the Association for Computational Linguistics. Florence: Association for Computational Linguistics, 2019. 5284–5294.
|
| [73] |
Du XY, Cardie C. Event extraction by answering (almost) natural questions. In: Proc. of the 2020 Conf. on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2020. 671–683.
|
| [74] |
Gangal V, Hovy E. BERTERING RAMS: What and how much does BERT already know about event arguments?—A study on the RAMS dataset. In: Proc. of the 3rd BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP. Association for Computational Linguistics, 2020. 1–10.
|
| [75] |
Zhang ZS, Kong X, Liu ZZ, Ma XZ, Hovy E. A two-step approach for implicit event argument detection. In: Proc. of the 58th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2020. 7479–7485.
|
| [76] |
Huang KH, Yang M, Peng NY. Biomedical event extraction with hierarchical knowledge graphs. In: Proc. of the 2020 Findings of the Association for Computational Linguistics. Association for Computational Linguistics, 2020. 1277–1285.
|
| [77] |
Beltagy I, Lo K, Cohan A. SciBERT: A pretrained language model for scientific text. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 3615–3620.
|
| [78] |
Lin HY, Lu YJ, Han XP, Sun L. Nugget proposal networks for Chinese event detection. In: Proc. of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne: Association for Computational Linguistics, 2018. 1565–1574.
|
| [79] |
Xu N, Xie HH, Zhao DY. A novel joint framework for multiple Chinese events extraction. In: Proc. of the 19th China National Conf. on Chinese Computational Linguistics. Springer, 2020. 174–183.
|
| [80] |
Liu SB, Cheng R, Yu XM, Cheng XQ. Exploiting contextual information via dynamic memory network for event detection. In: Proc. of the 2018 Conf. on Empirical Methods in Natural Language Processing. Brussels: Association for Computational Linguistics, 2018. 1030–1035.
|
| [81] |
Li PF, Zhou GD, Zhu QM. Semantics-based joint model of Chinese event trigger extraction. Ruan Jian Xue Bao/Journal of Software, 2016, 27(2): 280–294 (in Chinese with English abstract). http://www.jos.org.cn/1000-9825/4833.htm
|
| [82] |
Zeng Y, Yang HH, Feng YS, Wang Z, Zhao DY. A convolution BiLSTM neural network model for Chinese event extraction. In: Proc. of the 5th CCF Conf. on Natural Language Processing and Chinese Computing, NLPCC 2016, and the 24th Int’l Conf. on Computer Processing of Oriental Languages. Kunming: Springer, 2016. 275–287.
|
| [83] |
Subburathinam A, Lu D, Ji H, May J, Chang SF, Sil A, Voss C. Cross-lingual structure transfer for relation and event extraction. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing. Hong Kong: Association for Computational Linguistics, 2019. 313–325.
|
| [84] |
Yang H, Chen YB, Liu K, Xiao Y, Zhao J. DCFEE: A document-level Chinese financial event extraction system based on automatically labeled training data. In: Proc. of the 2018 ACL System Demonstrations. Melbourne: Association for Computational Linguistics, 2018. 50–55.
|
| [85] |
Zhong WF, Yang H, Chen YB, Liu K, Zhao J. Document-level event extraction based on joint labeling and global reasoning. Journal of Chinese Information Processing, 2019, 33(9): 88-95, 106(in Chinese with English abstract).
[doi:10.3969/j.issn.1003-0077.2019.09.011] |
| [86] |
Zhu PP, Wang ZQ, Li SS, Wang HL. Chinese event detection based on document information and Bi-GRU. Computer Science, 2020, 47(12): 233-238(in Chinese with English abstract).
[doi:10.11896/jsjkx.191100031] |
| [87] |
Meng HJ. Research on event extraction technology in the field of unexpected events [MS. Thesis]. Shanghai: Shanghai University, 2015 (in Chinese with English abstract).
|
| [88] |
Nédellec C, Bossy R, Kim JD, Kim JJ, Ohta T, Pyysalo S, Zweigenbaum P. Overview of BioNLP shared task 2013. In: Proc. of the 2013 BioNLP Shared Task Workshop. Sofia: Association for Computational Linguistics, 2013. 1–7.
|
| [89] |
Pustejovsky J, Hanks P, Sauri R, See A, Gaizauskas R, Setzer A, Radev DR, Sundheim B, Day D, Ferro L, Lazo M. The timebank corpus. Corpus Linguistics, 2003, 2003: 647-656.
|
| [90] |
Sundheim BM, Chinchor NA. Survey of the message understanding conferences. In: Proc. of the 1993 Workshop on Human Language Technology. Plainsboro: Association for Computational Linguistics, 1993. 56–60.
|
| [91] |
Ding X, Song F, Qin B, Liu T. Research on typical event extraction method in the field of music. Journal of Chinese Information Processing, 2011, 25(2): 15-20(in Chinese with English abstract).
[doi:10.3969/j.issn.1003-0077.2011.02.003] |
| [92] |
Yang H. Research on the methods for document-level event extraction from chinese unstructured texts [MS. Thesis]. Harbin: Harbin University of Science and Technology, 2019 (in Chinese with English abstract).
|
| [93] |
Zhang ZK, Xu WR, Chen QQ. Joint event extraction based on skip-window convolutional neural networks. In: Proc. of the 5th CCF Conf. on Natural Language Processing and Chinese Computing, NLPCC 2016, and the 24th Int’l Conf. on Computer Processing of Oriental Languages. Kunming: Springer, 2016. 324–334.
|
| [94] |
Chen C, Ng V. Joint modeling for Chinese event extraction with rich linguistic features. In: Proc. of the 2012 COLING. Mumbai: The COLING 2012 Organizing Committee, 2012. 529–544.
|
| [51] |
黄细凤. 基于动态掩蔽注意力机制的事件抽取. 计算机应用研究, 2020, 37(7): 1964-1968.
[doi:10.19734/j.issn.1001-3695.2018.12.0927] |
| [81] |
李培峰, 周国栋, 朱巧明. 基于语义的中文事件触发词抽取联合模型. 软件学报, 2016, 27(2): 280–294. http://www.jos.org.cn/1000-9825/4833.htm
|
| [85] |
仲伟峰, 杨航, 陈玉博, 刘康, 赵军. 基于联合标注和全局推理的篇章级事件抽取. 中文信息学报, 2019, 33(9): 88-95, 106.
[doi:10.3969/j.issn.1003-0077.2019.09.011] |
| [86] |
朱培培, 王中卿, 李寿山, 王红玲. 基于篇章信息和Bi-GRU的中文事件检测. 计算机科学, 2020, 47(12): 233-238.
[doi:10.11896/jsjkx.191100031] |
| [87] |
孟环建. 突发事件领域事件抽取技术的研究 [硕士学位论文]. 上海: 上海大学, 2015.
|
| [91] |
丁效, 宋凡, 秦兵, 刘挺. 音乐领域典型事件抽取方法研究. 中文信息学报, 2011, 25(2): 15-20.
[doi:10.3969/j.issn.1003-0077.2011.02.003] |
| [92] |
杨航. 面向非结构化中文文本的篇章级事件抽取研究 [硕士学位论文]. 哈尔滨: 哈尔滨理工大学, 2019.
|