2026, Vol. 58
2. 郑州大学 网络空间安全学院 河南 郑州 450002
2. School of Cyber Science and Engineering, Zhengzhou University, Zhengzhou 450002, China
大语言模型(large language model, LLM)[1]是一种通过大规模文本数据进行训练的深度学习模型，其凭借强大的上下文学习能力和涌现性，正在革新图像识别、自然语言处理等多个研究领域。然而，大语言模型仍面临一些挑战，如容易产生幻觉、缺乏可解释性以及知识更新的实时性不足等。知识图谱是以图的形式表现客观世界中的实体及实体之间关系的知识库，其核心构成要素包括(实体，关系，实体)三元组以及相关属性[2]。知识图谱具有结构化表示、易于扩展和强可解释性等优点。但在知识图谱的构建和使用过程中存在一些难题，如语料数据标注效率低且主观性较强，知识抽取的质量难以保证以及构建本体时难度较大。
大语言模型的出现为知识图谱的构建提供了新的解决方案，同时知识图谱以其结构化的知识表示形式为应对大语言模型的挑战提供了新的思路。大语言模型不仅能够直接作为框架来构建知识图谱[3]，还能在知识图谱的构建过程中发挥作用[4]，通过对模型微调实现信息抽取的统一框架[5]，完成知识图谱补全任务等[6]。此外，将知识图谱整合到大语言模型中，可以使模型结合内部和外部知识进行推理[7]。同时，知识图谱也可作为外部知识源对大语言模型进行知识注入，例如，通过从知识图谱中检索事实来提升零样本任务的性能[8]。总之，在大语言模型的推动下，知识图谱展现出新的发展潜力。本文将从知识图谱的角度出发，探讨大语言模型驱动下知识图谱构建的新范式和新方法，并对大语言模型驱动下知识图谱的新应用进行阐述，最后对大语言模型与知识图谱结合的未来发展趋势进行展望。
1 大语言模型增强知识图谱构建知识图谱的构建流程涉及知识建模、信息抽取、知识融合和知识图谱补全等多个步骤。大语言模型通过深度的语义理解和推理能力，有效提升了知识图谱构建的效率和质量。大语言模型对知识图谱的增强主要表现为两种方式：一是实现端到端的知识图谱构建，即一步构建完整的知识图谱或直接从大语言模型中提取知识图谱[9]；二是对知识图谱构建过程中的一个或几个环节进行增强。大语言模型增强的知识图谱构建见图 1。
|
图 1 大语言模型增强的知识图谱构建 Fig. 1 Construction of knowledge graph enhanced by large language model |
知识建模是定义知识图谱结构和内容的关键过程，涉及概念、类别、属性和关系的确定以及它们之间的约束和规则。大语言模型在本体构建中表现出巨大的潜力[10]，不仅可以用于创建和增强本体，而且可以通过领域微调加强专业适应性。例如，Cohen等[11]利用大语言模型为种子实体设计精确的提示来逐步构建知识图谱。Funk等[12]利用GPT-3.5高效构建领域概念层级，然而这种方法过于依赖预训练模型的泛化能力，可能在专业适应性方面存在不足。在处理动态领域时，大语言模型能够通过引入新信息或优化概念定义来提升本体的适应性。但是在关系建模方面，大语言模型面临着计算资源消耗大和偏差问题，这些问题需要通过更全面的评估来解决，以确保模型的可靠性和鲁棒性。
1.2 信息抽取信息抽取是自然语言处理中的一个关键领域，它将纯文本转换成结构化知识。实体识别和关系抽取是知识图谱构建过程中两个关键的信息抽取任务。
1.2.1 实体识别在利用大语言模型进行实体识别的研究中，主要可以归纳为两大策略：上下文学习和监督微调。
1) 上下文学习
基于上下文学习的实体识别旨在使用指令、演示和文本作为输入从文本中识别出具有特定意义的实体。上下文学习模型可以被认为是一个元函数，它将指令和演示作为输入，并产生一个能够识别所需实体的实体提取器。随着大语言模型的发展，基于上下文学习的实体识别方法在准确性和泛化能力方面取得了显著进展。例如，Xia等[13]通过将所有概率质量分配给观察到的序列来引入偏差。Xie等[14]提出一个无训练的自我改进框架，该框架使用大语言模型对未标记的语料库进行预测以获得伪示例，从而提高大语言模型在零样本命名实体识别任务中的性能。大语言模型通过上下文学习减少对大量标注数据的依赖，使得模型能够从少量数据中学习实体的深层特征。
2) 监督微调
监督微调技术利用标注数据对预训练模型进一步训练，以提高在特定任务中的性能。由于大语言模型在处理简单任务时的效果并不理想，Ma等[15]先通过相对较小的模型进行标注，再使用过滤方式将小模型难以处理的任务交给大语言模型。Rubin等[16]通过检索提示模板来加强提问示例和样例之间的联系以增强识别的效果。Ashok等[17]提出PromptNER，提示大语言模型生成一系列潜在实体，同时提供相应的解释，证明它们与提供的实体类型定义的兼容性。Paolini等[18]将ChatGPT蒸馏成更小的UniversalNER模型，用于开放式命名实体识别。监督微调使模型能够针对特定任务进行精细调整，从而提高实体识别任务的性能。
1.2.2 关系抽取关系抽取旨在从非结构化的文本中识别和提取实体之间的语义关系，这些关系是构成知识图谱骨架的重要部分。根据抽取方式的不同，将关系抽取方法分为基于自然语言生成的抽取方法和基于代码生成的抽取方法。
1) 基于自然语言生成的抽取方法
基于自然语言的大语言模型经过广泛的文本训练，能够理解和生成人类语言，这使得提示和指令的设计更为简洁。Zhang等[19]提出QA4RE，通过将关系抽取任务与问答任务结合来提升大语言模型的性能。此外，Lu等[20]提出UIE，采用统一的文本到结构生成框架，捕捉信息抽取的共通能力。Wang等[5]提出InstructUIE，通过专家编写的指令集来增强UIE，微调大语言模型，使其能够统一模拟各类信息抽取任务，捕捉任务间的相互依赖。Wei等[21]提出ChatIE，使用ChatGPT等大语言模型进行零样本提示，将任务转化为多轮问答形式。这三项研究都将任务统一到通用自然语言架构中，通过不同方式捕捉信息抽取的共通能力。
2) 基于代码生成的抽取方法
基于代码生成的抽取方法通过生成符合通用编程架构的代码来统一信息抽取任务，利用代码的固有结构知识提升性能。例如Guo等[22]提出Code4UIE，采用一个通用的检索增强型代码生成框架，使用Python类定义架构，并通过上下文学习从文本中生成代码以抽取结构化知识。Bi等[23]采用架构感知提示和理由增强生成来提升性能。Sainz等[24]提出GoLLIE，旨在通过微调大语言模型以符合注释指南，提升其在面对未知信息抽取任务时的零样本学习能力。
基于自然语言生成的抽取方法以其简洁的设计和易于实现的特点，在处理简单关系抽取任务时表现出优势。基于代码生成的抽取方法利用代码的结构化知识，其在处理复杂关系时更具优势，提高了关系抽取的准确性。但前者可能会产生不自然的输出，后者通常需要大量的文本来定义Python类，限制了其在长文本场景中的应用。
1.3 知识融合知识融合是将从不同来源获取的知识进行整合，创建一个一致、准确和完整的知识图谱。Yuan等[25]研究表明，预训练语言模型尚无法概括逻辑规则，而且即使提供了规则，大语言模型也往往会忘记以前推断的事实，这给大语言模型在知识融合中的运用带来了困难。在本体对齐任务中，Baldazzi等[26]使用神经符号设计方法来增强大语言模型的逻辑推理能力。实例对齐任务的目标是实现两个独立知识图谱中知识实例(即实体和关系实例)之间的精准匹配。Strakova等[27]尝试使用微调的大语言模型来预注释词汇扩展任务中的数据，从而提高了大型语言模型在企业领域知识图谱实例对齐任务中的性能。然而，目前的知识融合技术仍然面临着长尾实例和知识图谱结构信息不足的挑战。未来的研究将聚焦简化对齐过程，开发出更有效的数据处理方法，并探索如何更好地利用现有结构信息。此外，还需要探索如何提高模型的透明度和可解释性，以便更好地理解和改进对齐结果。
1.4 知识图谱补全在知识建模、获取和融合的基础上构建的大多数知识图谱具有不完备性，知识图谱补全是一种通过推理手段发现已有知识中隐含知识的过程，对于构建完善的知识图谱至关重要[28]。大语言模型拥有内置的广泛知识库且拥有强大的推理能力，能够在知识图谱补全任务中发挥重要作用[29]。根据出发点和动机的不同，基于大语言模型的知识图谱补全方法可分为知识图谱增强大语言模型的知识图谱补全和大语言模型增强知识图谱的知识图谱补全。
1) 知识图谱增强大语言模型的知识图谱补全
知识图谱增强大语言模型的知识图谱补全旨在利用大语言模型强大的推理能力来弥补传统知识图谱补全模型在复杂推理任务和知识泛化能力方面的不足。在已有的研究中，Xie等[30]使用ChatGPT进行知识图谱的链接预测任务。Wei等[31]首次将大语言模型与传统的知识图谱补全方法相结合，可以同时利用知识图谱中的结构化信息和大语言模型的知识库。Shu等[32]引入知识图谱大语言模型框架，通过思维链和指令微调等技术，提高了知识图谱分析中多跳生成预测任务的性能。
2) 大语言模型增强知识图谱的知识图谱补全
大语言模型增强知识图谱的知识图谱补全方法旨在将大语言模型中的知识提取出来，进而通过知识增强的策略来提升知识图谱补全模型的性能。Xu等[33]从实体描述扩展、关系理解优化和结构信息提取的角度，使用大语言模型来弥补知识图谱补全任务中情景化信息不足的问题。Li等[34]通过提示大语言模型将三元组转化为富含上下文的片段，并设计了两个辅助任务——重建和上下文化，帮助传统模型从增强的三元组中吸收知识。
大语言模型在知识图谱补全任务中表现出卓越的复杂逻辑处理和问题解决能力，但同时也面临着过拟合风险、数据偏见以及缺乏透明度等潜在问题，这些因素可能影响推理的准确性和可靠性。下一步的研究方向是将大语言模型的强大功能与传统方法的优势相结合，以开发出更加稳健且透明的知识图谱补全方法。
2 大语言模型驱动下知识图谱的应用大语言模型的出现也为知识图谱的应用带来了新的研究方向和领域。本节将从知识图谱增强大语言模型、知识图谱检索增强大语言模型以及知识图谱与大语言模型的协同增强三个角度对大语言模型驱动下知识图谱的应用进行概述。
2.1 知识图谱增强大语言模型以ChatGPT为代表的大语言模型具有出色的任务泛化能力，然而它们在生成文本时可能会出现表面合理但实际上错误的信息，即“幻觉问题”[35]。此外，尽管大语言模型能够从语料库中学习大量的知识，但这些知识基于统计规律，并非真实的实践经验，这可能导致其在处理专业领域问题时缺乏深入的理解和精确的知识。再者，大语言模型产生的输出往往缺乏可解释性，用户难以追溯模型是如何得出特定结论或生成特定文本的过程，限制了模型在关键应用场景中的实用性。知识图谱增强大语言模型见图 2。知识图谱不仅能够作为领域知识生成文本提示增强大语言模型，还能够利用知识图谱的结构特点、实体嵌入等特性增强大语言模型。下文将从知识图谱增强大语言模型性能的角度出发，从知识注入、推理、可解释性三个方面进行介绍。
|
图 2 知识图谱增强大语言模型 Fig. 2 Knowledge graph enhanced large language model |
知识注入是指将知识图谱作为一种丰富的知识库加入大语言模型中，不改变模型本身的推理机制或决策透明度。知识图谱中的结构化知识可以作为训练数据[36]，也可以将知识图谱三元组表示为一个标记序列或者生成句子[37]，还可以从知识图谱中检索事实，将其预置到输入问题中[7]，增强大语言模型的涌现能力。此外，知识图谱还可以将其结构嵌入大语言模型，利用知识与输入文本之间的联系，将知识纳入语言理解。例如，可以通过结合实体嵌入来增强输入标记[38]，也可以将知识图谱嵌入训练目标进行预训练[39]，增强预训练模型。实验结果表明，知识注入能够有效增强大语言模型的推理性能和可解释性等。
2.1.2 推理传统的大语言模型在推理时主要依赖学习到的非结构化信息。但是，现实世界的知识是动态更新的，这就导致它们可能无法很好地概括未见过的知识[40]。一些研究尝试在推理时注入知识，例如Thoppilan等[41]提出LaMDA，利用知识图谱中的实体、关系和属性等信息进行编码建模，使大语言模型能够根据知识图谱中的语义信息进行推理。
为了在推理过程中更好地将知识图谱结构注入大语言模型中，一些研究通过精心设计的提示模板，将结构化知识图谱转换为文本序列。Li等[42]采用预定义模板将每个三元组转换为一个短句，大语言模型可以理解该短句并进行推理。Yao等[6]提出Mindmap，将图结构转换成思维导图，通过整合知识图谱中的事实和大语言模型中的隐含知识，使大语言模型能够进行推理。
此外，思维链[43]是一种通过引导大语言模型逐步思考和小样本提示增强大语言模型推理的方法。它通过在提示中加入一系列中间步骤，帮助大语言模型拆解复杂问题，逐步推导出最终答案。一些研究将知识图谱与思维链结合，以增强大语言模型的推理能力。例如，Guan等[44]提出CohortGPT，采用思维链采样策略辅助领域知识图谱，增强大语言模型在医学领域的推理能力。Wang等[45]提出知识链提示，使用三元组序列来激发大语言模型的推理能力，从而得出最终答案。
2.1.3 可解释性模型可解释性是指对模型内部工作和决策过程的理解和解释。大语言模型因其黑盒特性导致其缺乏可解释性。一些研究结合知识图谱和大语言模型对增强可解释性进行研究，例如Chen等[46]提出的XplainLLM通过结合知识图谱和图注意力网络，构建一个问题-答案-解释三元组，将大语言模型推理过程与知识图谱中实体和关系相连接，提高模型的可解释性。Shi等[47]将大语言模型与知识图谱子图生成相结合，以增强推荐系统的可解释性。Shariatmadari等[48]使用CMA融合大语言模型和知识图谱，不仅提升了其在生物医学推理任务中的准确性，还实现了针对局部预测的可信注意力解释。Ma等[49]提出了ToG2.0，将问题与知识图谱对齐，不仅提高了大语言模型响应的准确性和可靠性，还增强了大语言模型推理的可解释性。
2.2 知识图谱检索增强大语言模型知识图谱可以结合检索系统增强大语言模型。检索增强生成(retrieval-augmented generation，RAG)是一种通过从外部数据库检索相关信息，并将检索到的信息合并到生成的输入中来增强大语言模型响应的技术。知识图谱以节点网络的形式存储数据，并记录了节点之间的关系。这种相互连接的数据结构使得RAG应用能够高效地在不同信息之间进行导航，访问所有相关的数据，这种为RAG知识库引入知识图谱及图数据库的增强方式被称为图检索增强生成(graph retrieval-augmented generation，Graph-RAG)。
GraphRAG不仅在信息丰富性、时效性、可解释性以及系统效率方面取得了显著提升，还能够提供结构化的实体信息、关系和属性，激发大语言模型进行更深层次的理解和分析，进一步改进知识表示和推理。RAG方法与GraphRAG方法的对比见图 3。给定一个用户提问，大模型直接回答会受到浅层响应或缺乏特异性的影响。RAG通过检索相关的文本信息，在一定程度上缓解了这一问题。然而，由于文本篇幅较长，实体关系的自然语言表达方式灵活多变，RAG难以强调“影响”关系，而“影响”关系是问题的核心。GraphRAG方法利用图数据中的显式实体和关系表示，通过检索相关的结构化信息来得到精确的答案。
|
图 3 RAG方法与GraphRAG方法的对比 Fig. 3 Comparision between RAG method and GraphRAG method |
例如，Ye等[50]提出的RNG-KBQA在知识图谱中列举候选逻辑形式，然后对候选逻辑形式进行排序，并与查询进行串联形成提示输入，通过T5模型生成最终逻辑形式。基于这一思想，Liu等[51]提出Uni-Parser，使用提及检测、交叉编码器排序从外部知识库中检索实体和图谱。Yu等[52]进一步改进了图谱中检索相关实体，在获取相关信息后，将top-k个图元与查询连接起来，通过T5生成逻辑形式。Oguz等[53]提出的UniK-QA将组件的文本形式串联在一个三元组中，构建文档池进行检索。对于给定的问题，它利用密集检索器获取相关文档，然后执行解码器中的融合技术来整合答案生成的信息。
2.3 知识图谱与大语言模型的协同增强知识图谱不仅用于增强大语言模型，还能与大语言模型协作，通过大语言模型与知识图谱的双向融合，实现知识的互补和相互学习，这种协同作用能够构建一个强大的知识表示和推理模型，进而提升多种下游应用的性能。本节将从协同知识表示和协同推理两个角度讨论二者的协同增强。
2.3.1 协同知识表示为了联合表示知识，研究人员通过引入额外的知识图谱融合模块与大语言模型联合训练。例如，Ke等[54]提出的JointGT是一种图形-文本联合表示学习模型，其通过三个预训练任务来对齐图形和文本的表示。Yasunaga等[55]提出的DRAGON使用自监督方法，通过文本和知识图谱联合语言知识库来预训练模型。它以文本段和相关的知识图谱子图作为输入，双向融合来自两种模态的信息。然后，DRAGON利用两个自监督推理任务，即屏蔽语言建模和知识图谱链接预测来优化模型参数。但是，大语言模型与知识图谱的协同表示仍然面临着许多难题，例如，随着知识图谱规模的增大，将会影响协同表示的高效性和准确性；现实世界中的知识图谱包含噪声和不完整信息，也会导致协同表示偏差和可靠性降低等。接下来的研究也仍然需要考虑动态知识图谱的知识表示以及知识嵌入表示方法，使得嵌入后的向量能够有效保留知识图谱中的信息。
2.3.2 协同推理大语言模型与知识图谱协同推理分别利用两个独立的大语言模型和知识图谱编码器来处理文本和相关的知识图谱输入。为了改善文本和知识之间的交互，Feng等[56]提出MHGRN，用大语言模型的输出指导知识图谱推理。Yasunaga等[57]提出QA-GNN，采用GNN模型联合推理文本和知识图谱，通过池化将文本信息作为特殊节点融入知识图谱。然而，文本输入仅汇集成单个密集向量，限制了信息融合性能。Sun等[58]提出的JointLK采用双向注意力机制，实现文本标记与知识图谱实体间的细粒度交互，并通过计算点积分数动态修剪知识图谱来聚焦关键子图。不过，其融合过程仍依赖于大语言模型的最终输出作为文本表示。
大语言模型与知识图谱融合推理结合了大语言模型和知识图谱编码器，以统一方式对知识进行表示，并通过协同推理模块共同推导结果。这种框架支持多种编码器和推理模块，通过端到端的训练有效融合大语言模型和知识图谱的知识与推理能力。但是，这些额外的模块可能会增加参数和计算负担，且解释性不足。此外，为大型语言模型制定行动策略同样是一个挑战，这仍需进一步研究。
3 展望 3.1 知识图谱用于大语言模型知识更新尽管大语言模型能够存储大量的现实世界知识，但它们无法随着现实世界情况的变化而快速更新其内部知识。一些研究工作提出在不重新训练整个大语言模型的情况下编辑大语言模型中的知识，然而这种解决方案存在较差的性能或较大的计算开销[59]。作为大规模结构化知识库的经典形式，知识图谱可以提供明确的知识表示和可解释的推理路径，并且可以不断修改以进行校正或更新。已有的研究尝试通过知识嵌入、知识编辑、自动辩论等方法实现知识图谱的更新，进一步实现大语言模型的更新。但是，此方法在相关知识稀缺或知识图谱质量低的情况下，模型的性能可能会受到影响。未来的研究可以更关注推理阶段的自主学习，包括规则理解、理论归纳等，通过多模型协同交互提高知识的多样性和准确性。
3.2 大语言模型促进多模态知识图谱构建传统的知识图谱主要处理结构化数据和文本信息，而多模态知识图谱是对知识图谱的一种扩展，旨在整合和表示多种不同类型的数据模式，如文本、图像、音频、视频等，提供了更丰富和全面的知识表示。多模态知识图谱构建通常采用知识图谱中的符号对图像进行标注和将知识图谱符号与现实图像相联系两种范式。大语言模型的出现也为多模态知识图谱的构建提供了新的思路和方法。当前研究大多还是致力于对多模态知识图谱构建子任务进行研究，而端到端的多模态知识图谱构建框架将是进一步的研究方向。此外，在小样本学习、跨语言知识图谱构建以及多模态实体对齐等方面，仍然需要更深入的研究。
3.3 知识图谱增强大语言模型决策的可解释性大语言模型是一个黑盒模型，推理过程往往缺乏透明度，难以解释其决策背后的逻辑。利用知识图谱的结构化特性增强大语言模型的可解释性能够提高其在关键领域的可靠性。已有的研究尝试采用基于规则的注释、子图提取、检索增强等方法增强大模型决策的可解释性，但是仍然受知识图谱质量、知识图谱与大语言模型的融合方式等因素的制约。未来的研究可以尝试结合因果推断等方法，理解不同事件间的作用机制，也可以通过可解释性AI框架的集成实现端到端的决策解释等方法，提高大语言模型决策的可解释性。
3.4 大语言模型与知识图谱的深度协同大语言模型和知识图谱的理想协同作用包括利用两种技术的优势来克服它们各自的局限性[59]。知识图谱与大语言模型融合已经取得一定的成果，不仅是在大语言模型与知识图谱的协同知识表示上，在大语言模型与知识图谱的协同推理上也有研究进展。但是，目前针对大语言模型与知识图谱的协同研究仍然不够深入，还受知识图谱质量、知识嵌入方式以及协同策略的制约。为了更好地统一大语言模型和知识图谱，可以结合一些先进的技术，如多模态学习、图神经网络和连续学习等，进一步探索大语言模型与知识图谱的深度协同策略和交互机制等，还可以优化微调和更新策略，提高大语言模型对知识图谱的理解能力以及大语言模型本身的推理能力。
4 结语大语言模型为知识图谱构建带来了新动力，能有效提高知识图谱的构建效率和质量。同时，知识图谱在大语言模型中的应用也展现出巨大潜力，能够提升大语言模型的自身性能，有效降低大语言模型的幻觉现象，辅助大语言模型进行知识校准，提高决策过程的可解释性等。本文从知识图谱的构建和应用两个角度对知识图谱与大语言模型的结合进行了综述。首先回顾了大语言模型增强知识图谱构建领域的最新研究进展，其次介绍了大语言模型驱动下知识图谱的应用，最后对大语言模型与知识图谱结合的未来研究方向进行了展望。知识图谱在大语言模型背景下仍然具有广阔的研究前景，未来研究应关注如何进一步优化大语言模型与知识图谱的结合，为人工智能发展提供更强大的驱动力。
| [1] |
SHANAHAN M. Talking about large language models[J]. Communications of the ACM, 2024, 67(2): 68-79. DOI:10.1145/3624724 (  0) |
| [2] |
PENG C Y, XIA F, NASERIPARSA M, et al. Knowledge graphs: opportunities and challenges[J]. Artificial intelligence review, 2023, 56(11): 13071-13102. DOI:10.1007/s10462-023-10465-9 ( 0) |
| [3] |
BOSSELUT A, RASHKIN H, SAP M, et al. COMET: commonsense transformers for automatic knowledge graph construction[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2019: 4762-4779.
( 0) |
| [4] |
ZHANG Z S, ZHANG A, LI M, et al. Automatic chain of thought prompting in large language models[EB/OL]. (2024-03-04)[2024-09-10]. https://doi.org/10.48550/arXiv.2210.03493.
( 0) |
| [5] |
WANG X, ZHOU W K, ZU C, et al. InstructUIE: multi-task instruction tuning for unified information extraction[EB/OL]. (2024-03-04)[2024-09-10]. https://doi.org/10.48550/arXiv.2304.08085.
( 0) |
| [6] |
YAO L, PENG J Z, MAO C S, et al. Exploring large language models for knowledge graph completion[EB/OL]. (2023-04-17)[2024-09-10]. https://doi.org/10.48550/arXiv.2308.13916.
( 0) |
| [7] |
WEN Y L, WANG Z F, SUN J M. MindMap: knowledge graph prompting sparks graph of thoughts in large language models[C]//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2024: 10370-10388.
( 0) |
| [8] |
BAEK J, AJI A F, SAFFARI A. Knowledge-augmented language model prompting for zero-shot knowledge graph question answering[C]//Proceedings of the 1st Workshop on Natural Language Reasoning and Structured Explanations. Stroudsburg: Association for Computational Linguistics, 2023: 78-106.
( 0) |
| [9] |
CAO L, SUN J M, CROSS A. An automatic and end-to-end system for rare disease knowledge graph construction based on ontology-enhanced large language models: development study[J]. JMIR medical informatics, 2024, 12. ( 0) |
| [10] |
NEUHAUS F. Ontologies in the era of large language models: a perspective[J]. Applied ontology, 2023, 18(4): 399-407. DOI:10.3233/AO-230072 ( 0) |
| [11] |
COHEN R, GEVA M, BERANT J, et al. Crawling the internal knowledge-base of language models[C]//Findings of the Association for Computational Linguistics: EACL 2023. Stroudsburg: Association for Computational Linguistics, 2023: 1856-1869.
( 0) |
| [12] |
FUNK M, HOSEMANN S, JUNG J C, et al. Towards ontology construction with language models[EB/OL]. (2024-03-04)[2024-09-10]. https://doi.org/10.48550/arXiv.2309.09898.
( 0) |
| [13] |
XIA Y, ZHAO Y W, WU W H, et al. Debiasing generative named entity recognition by calibrating sequence likelihood[C]//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2023: 1137-1148.
( 0) |
| [14] |
XIE T Y, LI Q, ZHANG Y, et al. Self-improving for zero-shot named entity recognition with large language models[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg: Association for Computational Linguistics, 2024: 583-593.
( 0) |
| [15] |
MA Y B, CAO Y X, HONG Y, et al. Large language model is not a good few-shot information extractor, but a good reranker for hard samples![C]//Findings of the Association for Computational Linguistics: EMNLP 2023. Stroudsburg: Association for Computational Linguistics, 2023: 10572-10601.
( 0) |
| [16] |
RUBIN O, HERZIG J, BERANT J. Learning to retrieve prompts for in-context learning[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg: Association for Computational Linguistics, 2022: 2655-2671.
( 0) |
| [17] |
ASHOK D, LIPTON Z C. PromptNER: prompting for named entity recognition[EB/OL]. (2023-06-20)[2024-09-10]. https://doi.org/10.48550/arXiv.2305.15444.
( 0) |
| [18] |
PAOLINI G, ATHIWARATKUN B, KRONE J, et al. Structured prediction as translation between augmented natural languages[EB/OL]. (2021-01-14)[2024-09-10]. https://doi.org/10.48550/arXiv.2101.05779.
( 0) |
| [19] |
ZHANG K, JIMENEZ G B, SU Y. Aligning instruction tasks unlocks large language models as zero-shot relation extractors[C]//Findings of the Association for Computational Linguistics: ACL 2023. Stroudsburg: Association for Computational, 2023: 794-812.
( 0) |
| [20] |
LU Y J, LIU Q, DAI D, et al. Unified structure generation for universal information extraction[C]//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational, 2022: 5755-5772.
( 0) |
| [21] |
WEI X, CUI X Y, CHENG N, et al. Zero-shot information extraction via chatting with ChatGPT[EB/OL]. (2024-05-27)[2024-09-10]. https://doi.org/10.48550/arXiv.2302.10205.
( 0) |
| [22] |
GUO Y C, LI Z X, JIN X L, et al. Retrieval-augmented code generation for universal information extraction[M]. Berlin: Springer Press, 2024: 30-42.
( 0) |
| [23] |
BI Z, CHEN J, JIANG Y N, et al. CodeKGC: code language model for generative knowledge graph construction[J]. ACM transactions on Asian and low-resource language information processing, 2024, 23(3): 1-16. ( 0) |
| [24] |
SAINZ O, GARCÍA-FERRERO I, AGERRI R, et al. GoLLIE: annotation guidelines improve zero-shot information-extraction[EB/OL]. (2024-05-06)[2024-09-10]. https://doi.org/10.48550/arXiv. 2310.03668.
( 0) |
| [25] |
YUAN Z D, HU S B, VULI C ' I, et al. Can pretrained language models (Yet) reason deductively?[C]//Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2023: 1447-1462.
( 0) |
| [26] |
BALDAZZI T, BELLOMARINI L, CERI S, et al. Fine-tuning large enterprise language models via ontological reasoning[C]//Proceedings of the 17th Linguistic Annotation Workshop. Cham: Springer International Publishing, 2023: 86-94.
( 0) |
| [27] |
STRAKOVA J, FUCIKOVA E, HAJIC J, et al. Extending an event-type ontology: adding verbs and classes using fine-tuned LLMs suggestions[C]//Proceedings of the 17th Linguistic Annotation Workshop. Stroudsburg: Association for Computational Linguistics, 2023: 85-95.
( 0) |
| [28] |
李卫军, 顾建来, 张新勇, 等. 基于关系学习的小样本知识图谱补全模型[J]. 郑州大学学报(工学版), 2024, 45(4): 53-61. LI W J, GU J L, ZHANG X Y, et al. Relation learning completion model for few-shot knowledge graphs[J]. Journal of Zhengzhou university (engineering science), 2024, 45(4): 53-61. ( 0) |
| [29] |
ZHAO W X, ZHOU K, LI J, et al. A survey of large language models[EB/OL]. (2024-05-27)[2024-09-10]. https://doi.org/10.48550/arXiv.2302.10205.
( 0) |
| [30] |
XIE X, LI Z B, WANG X H, et al. LambdaKG: a library for pre-trained language model-based knowledge graph embeddings[C]//Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics: System Demonstrations. Stroudsburg: Association for Computational Linguistics, 2023: 25-33.
( 0) |
| [31] |
WEI Y B, HUANG Q S, ZHANG Y, et al. KICGPT: large language model with knowledge in context for knowledge graph completion[C]//Findings of the Association for Computational Linguistics: EMNLP 2023. Stroudsburg: Association for Computational Linguistics, 2023: 8667-8683.
( 0) |
| [32] |
SHU D, CHEN T L, JIN M Y, et al. Knowledge graph large language model (KG-LLM) for link prediction[EB/OL]. (2024-08-09)[2024-09-10]. https://doi.org/10.48550/arXiv.2403.07311.
( 0) |
| [33] |
XU D R, ZHANG Z H, LIN Z X, et al. Multi-perspective improvement of knowledge graph completion with large language models[C]//Proceedings of the Joint International Conference on Computational Linguistics, Language Resources and Evaluation. Stroudsburg: Association for Computational Linguistics, 2024: 11956-11968.
( 0) |
| [34] |
LI D W, TAN Z, CHEN T L, et al. Contextualization distillation from large language model for knowledge graph completion[C]//Findings of the Association for Computational Linguistics: EACL 2024. Stroudsburg: Association for Computational Linguistics, 2024: 458-477.
( 0) |
| [35] |
MALLEN A, ASAI A, ZHONG V, et al. When not to trust language models: investigating effectiveness of parametric and non-parametric memories[C]//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2023: 9802-9822.
( 0) |
| [36] |
CHEN W H, SU Y, YAN X F, et al. KGPT: knowledge-grounded pre-training for data-to-text generation[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg: Association for Computational Linguistics, 2020: 8635-8648.
( 0) |
| [37] |
SUN Y, WANG S H, FENG S K, et al. ERNIE 3.0: large-scale knowledge enhanced pre-training for language understanding and generation[EB/OL]. (2021-07-05)[2024-09-10]. https://doi.org/10.48550/arXiv.2107.02137.
( 0) |
| [38] |
ROSSET C, XIONG C Y, PHAN M, et al. Knowledge-aware language model pretraining[EB/OL]. (2022-10-07)[2024-09-10]. https://doi.org/10.48550/arXiv.2210.03493.
( 0) |
| [39] |
WANG X Z, GAO T Y, ZHU Z C, et al. KEPLER: a unified model for knowledge embedding and pre-trained language representation[J]. Transactions of the association for computational linguistics, 2021, 9: 176-194. DOI:10.1162/tacl_a_00360 ( 0) |
| [40] |
MCCOY T, PAVLICK E, LINZEN T. Right for the wrong reasons: diagnosing syntactic heuristics in natural language inference[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2019: 3428-3448.
( 0) |
| [41] |
THOPPILAN R, FREITAS D, HALL J, et al. LaMDA: language models for dialog applications[EB/OL]. (2022-02-10)[2024-09-10]. https://doi.org/10.48550/arXiv.2201.08239.
( 0) |
| [42] |
LI S Y, GAO Y F, JIANG H M, et al. Graph reasoning for question answering with triplet retrieval[C]//Findings of the Association for Computational Linguistics: ACL 2023. Stroudsburg: Association for Computational Linguistics, 2023: 3366-3375.
( 0) |
| [43] |
WEI J, WANG X Z, SCHUURMANS D, et al. Chain-of-thought prompting elicits reasoning in large language models[C]//Proceedings of the 36th International Conference on Neural Information Processing Systems. New York: ACM Press, 2024: 24824-24837.
( 0) |
| [44] |
GUAN Z H, WU Z H, LIU Z, et al. CohortGPT: an enhanced GPT for participant recruitment in clinical study[EB/OL]. (2023-07-21)[2024-09-10]. https://doi.org/10.48550/arXiv.2307.11346.
( 0) |
| [45] |
WANG J N, SUN Q S, LI X, et al. Boosting language models reasoning with chain-of-know-ledge prompting[EB/OL]. (2024-07-03)[2024-09-10]. https://doi.org/10.48550/arXiv.2306.06427.
( 0) |
| [46] |
CHEN Z C, CHEN J D, GAIDHANI M, et al. XplainLLM: a knowledge-augmented dataset for understanding llm decision-making[EB/OL]. (2024-09-20)[2024-10-10]. https://doi.org/10.48550/arXiv.2311.08614.
( 0) |
| [47] |
SHI G S, DENG X F, LUO L H, et al. LLM-powered explanations: unraveling recommendations through subgraph reasoning[EB/OL]. (2024-07-30)[2024-10-10]. https://doi.org/10.48550/arXiv.2406.15859.
( 0) |
| [48] |
SHARIATMADARI A H, GUO S, SRINI V S, et al. Harnessing the power of knowledge graphs to enhance LLM explainability in the biomedical domain[C]//Proceedings of 1st AAAI Workshop on Large Language Models for Biological Discoveries. Palo Alto: AAAI Press, 2024: 1-8.
( 0) |
| [49] |
MA S J, XU C J, JIANG X H, et al. Think-on-graph 2.0: deep and interpretable large language model reasoning with knowledge graph-guided retrieval[EB/OL]. (2024-08-06)[2024-09-10]. https://doi.org/10.48550/arXiv.2407.10805.
( 0) |
| [50] |
YE X, YAVUZ S, HASHIMOTO K, et al. RNG-KBQA: generation augmented iterative ranking for knowledge base question answering[C]//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2022: 6032-6043.
( 0) |
| [51] |
LIU Y, YAVUZ S, MENG R, et al. Uni-Parser: unified semantic parser for question answering on knowledge base and database[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg: Association for Computational Linguistics, 2022: 8858-8869.
( 0) |
| [52] |
YU D H, ZHANG S, NG P, et al. DecAF: joint decoding of answers and logical forms for question answering over knowledge bases[EB/OL]. (2022-09-30)[2024-09-10]. https://doi.org/10.48550/arXiv.2210.00063.
( 0) |
| [53] |
OGUZ B, CHEN X L, KARPUKHIN V, et al. UniK-QA: unified representations of structured and unstructured knowledge for open-domain question answering[C]//Findings of the Association for Computational Linguistics: NAACL 2022. Stroudsburg: Association for Computational Linguistics, 2022: 1535-1546.
( 0) |
| [54] |
KE P, JI H Z, RAN Y, et al. JointGT: graph-text joint representation learning for text generation from knowledge graphs[C]//Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021. Stroudsburg: Association for Computational Linguistics, 2021: 2526-2538.
( 0) |
| [55] |
YASUNAGA M, BOSSELUT A, REN H Y, et al. Deep bidirectional language-knowledge graph pretraining[C]//Proceedings of the 36th International Conference on Neural Information Processing Systems. New York: ACM Press, 2024: 37309-37323.
( 0) |
| [56] |
FENG Y L, CHEN X Y, LIN B Y, et al. Scalable multi-hop relational reasoning for knowledge-aware question answering[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg: Association for Computational Linguistics, 2020: 1295-1309.
( 0) |
| [57] |
YASUNAGA M, REN H Y, BOSSELUT A, et al. QA-GNN: reasoning with language models and knowledge graphs for question answering[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg: Association for Computational Linguistics, 2021: 535-546.
( 0) |
| [58] |
SUN Y Q, SHI Q, QI L, et al. JointLK: joint reasoning with language models and knowledge graphs for commonsense question answering[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg: Association for Computational Linguistics, 2022: 5049-5060.
( 0) |
| [59] |
PAN S R, LUO L H, WANG Y F, et al. Unifying large language models and knowledge graphs: a roadmap[J]. IEEE transactions on knowledge and data engineering, 2024, 36(7): 3580-3599. DOI:10.1109/TKDE.2024.3352100 ( 0) |