知识增广的预训练语言模型K，其应用领域有哪些？
- 内容介绍
- 文章标签
- 相关推荐
本文共计2318个文字，预计阅读时间需要10分钟。
原创作者：杨健文章：K-BERT：利用知识图谱增强语言表示收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie
©原创作者| 杨健
论文标题：
K-BERT: Enabling Language Representation with Knowledge Graph
收录会议：
AAAI
论文链接：
ojs.aaai.org/index.php/AAAI/article/view/5681
项目地址：
github.com/autoliuweijie/K-BERT
01 背景论述笔者在前面的论文解读中提到过ERNIE使用基于自注意力机制来克服异构向量的融合，而KEPLER更进一步，将实体的描述文本作为训练语料，利用文本编码器生成实体的初始化语料，避免了异构语义向量的生成。
那么除了这一方式以外，是否还存在别的方式在注入异构知识的过程中解决异构向量的问题呢？
既然造成异构向量的原因在于使用不同的表示学习方式对不同结构的对象进行表示学习，那么一个直接的思路就是将不同结构的对象转换成同一结构，从而使用同一种表示学习方式对其编码。
本文所解读的K-BERT模型正是通过将知识图谱中的三元组转换为文本序列实现了结构的统一，在此基础上使用预训练语言模型编码文本和知识。
本文共计2318个文字，预计阅读时间需要10分钟。
原创作者：杨健文章：K-BERT：利用知识图谱增强语言表示收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie
©原创作者| 杨健
论文标题：
K-BERT: Enabling Language Representation with Knowledge Graph
收录会议：
AAAI
论文链接：
ojs.aaai.org/index.php/AAAI/article/view/5681
项目地址：
github.com/autoliuweijie/K-BERT
01 背景论述笔者在前面的论文解读中提到过ERNIE使用基于自注意力机制来克服异构向量的融合，而KEPLER更进一步，将实体的描述文本作为训练语料，利用文本编码器生成实体的初始化语料，避免了异构语义向量的生成。
那么除了这一方式以外，是否还存在别的方式在注入异构知识的过程中解决异构向量的问题呢？
既然造成异构向量的原因在于使用不同的表示学习方式对不同结构的对象进行表示学习，那么一个直接的思路就是将不同结构的对象转换成同一结构，从而使用同一种表示学习方式对其编码。
本文所解读的K-BERT模型正是通过将知识图谱中的三元组转换为文本序列实现了结构的统一，在此基础上使用预训练语言模型编码文本和知识。