K-BERT如何利用知识图谱进行预训练，以增广知识？
- 内容介绍
- 文章标签
- 相关推荐
本文共计2318个文字，预计阅读时间需要10分钟。
原创作者：杨健文章：K-BERT：利用知识图谱增强语言表示收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie
©原创作者| 杨健
论文标题：
K-BERT: Enabling Language Representation with Knowledge Graph
收录会议：
AAAI
论文链接：
ojs.aaai.org/index.php/AAAI/article/view/5681
项目地址：
github.com/autoliuweijie/K-BERT
01 背景论述笔者在前面的论文解读中提到过ERNIE使用基于自注意力机制来克服异构向量的融合，而KEPLER更进一步，将实体的描述文本作为训练语料，利用文本编码器生成实体的初始化语料，避免了异构语义向量的生成。
那么除了这一方式以外，是否还存在别的方式在注入异构知识的过程中解决异构向量的问题呢？
既然造成异构向量的原因在于使用不同的表示学习方式对不同结构的对象进行表示学习，那么一个直接的思路就是将不同结构的对象转换成同一结构，从而使用同一种表示学习方式对其编码。
本文所解读的K-BERT模型正是通过将知识图谱中的三元组转换为文本序列实现了结构的统一，在此基础上使用预训练语言模型编码文本和知识。
具体而言，K-BERT首先将图谱中的三元组视为单向的文本序列，通过对齐输入序列中的相同的实体名作为桥梁，实现文本序列和三元组序列之间的链接，形成如下图所示的句子树结构：
尽管这种方式生成了统一的数据结构，然而在使用已有的预训练语言模型对它编码时却会遇到引入知识噪音的问题。
也即由于预训练语言模型中的自注意机制，会使得模型中的无关词关注到三元组中的实体，从而影响其正确的语义。
本文共计2318个文字，预计阅读时间需要10分钟。
原创作者：杨健文章：K-BERT：利用知识图谱增强语言表示收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie
©原创作者| 杨健
论文标题：
K-BERT: Enabling Language Representation with Knowledge Graph
收录会议：
AAAI
论文链接：
ojs.aaai.org/index.php/AAAI/article/view/5681
项目地址：
github.com/autoliuweijie/K-BERT
01 背景论述笔者在前面的论文解读中提到过ERNIE使用基于自注意力机制来克服异构向量的融合，而KEPLER更进一步，将实体的描述文本作为训练语料，利用文本编码器生成实体的初始化语料，避免了异构语义向量的生成。
那么除了这一方式以外，是否还存在别的方式在注入异构知识的过程中解决异构向量的问题呢？
既然造成异构向量的原因在于使用不同的表示学习方式对不同结构的对象进行表示学习，那么一个直接的思路就是将不同结构的对象转换成同一结构，从而使用同一种表示学习方式对其编码。
本文所解读的K-BERT模型正是通过将知识图谱中的三元组转换为文本序列实现了结构的统一，在此基础上使用预训练语言模型编码文本和知识。
具体而言，K-BERT首先将图谱中的三元组视为单向的文本序列，通过对齐输入序列中的相同的实体名作为桥梁，实现文本序列和三元组序列之间的链接，形成如下图所示的句子树结构：
尽管这种方式生成了统一的数据结构，然而在使用已有的预训练语言模型对它编码时却会遇到引入知识噪音的问题。
也即由于预训练语言模型中的自注意机制，会使得模型中的无关词关注到三元组中的实体，从而影响其正确的语义。