哪家预训练模型在知识图谱融入方面表现卓越？九大模型深度解析！

本文共计8850个文字，预计阅读时间需要36分钟。

原创作者 | 疯狂的Max 01预训练模型与知识图谱1. 预训练模型近年来，随着语言模型技术的快速发展，NLP领域取得了巨大成功。在众多应用中，Transformer结构模型的变体占据了主导地位。

©原创作者| 疯狂的Max

01 预训练模型与知识图谱 1.预训练模型

近年来，随着语言模型的技术发展，其在NLP领域获得巨大的成功，业界SOTA的前沿模型也大多是Transformer结构模型的变体。

Transformer结构模型使用注意力机制来获取文本中长距离字符间的依赖关系，包括对其进行优化的Transformer XL，BERT使用的MLM模型和XLNET使用的PLM模型。

这种类型的模型对语法知识进行编码，同时在一定程度上扩展了非结构文本中蕴含的语义知识，比如有论文证实了BERT模型在编码过程中获取了句法树的知识[5]，也就解释了为什么这些预训练模型能够在语法相关的下游任务上表现良好。

2.知识图谱

知识图谱的概念诞生于2012年，由Google公司首先提出。知识图谱的提出是为了准确地阐述人、事、物之间的关系，最早应用于搜索引擎。

知识图谱在不同应用场景和技术范畴内，定义有所不同，但在自然语言处理视角下，知识图谱可以看做从文本中抽取语义和结构化的数据。

简单来说，知识图谱可以被定义为一种用于表示现实世界知识的图形式的数据，其中的每个节点代表一种实体或属性，连接节点的边表示两节点的关系[3]。

简单理解，可以将知识图谱看做是若干三元组的集合，这些三元组在某个知识领域范畴内表示着各个实体概念之间错综复杂的关系。

这些知识图谱既可以是来自于现实世界的常识类知识图谱，如下图1所示[2]。