PyNeuraLogic源码如何改写以适应长尾关键词处理？

本文共计2484个文字，预计阅读时间需要10分钟。

引言+展示神级符号编程的力量

1.简介+在过去几年里，我们见证了基于Transformer的模型引发的兴起，并在自然语言处理、计算机视觉等多个领域取得了成功的应用。本文将探讨这些应用。

引言

展示神经符号编程的力量

1. 简介

在过去的几年里，我们看到了基于 Transformer 的模型的兴起，并在自然语言处理或计算机视觉等许多领域取得了成功的应用。在本文中，我们将探索一种简洁、可解释和可扩展的方式来表达深度学习模型，特别是 Transformer，作为混合架构，即通过将深度学习与符号人工智能结合起来。因此，我们将在一个名为 PyNeuraLogic 的 Python 神经符号框架中来实现该模型。

通过将符号表示与深度学习相结合，我们填补了当前深度学习模型的空缺，例如可解释性的开箱即用和缺少推理技术。也许，增加参数的数量并不是实现这些预期结果的最合理方法，就像增加相机百万像素的数量不一定会产生更好的照片一样。

PyNeuraLogic 框架基于逻辑编程——逻辑程序包含可微分的参数。该框架非常适合较小的结构化数据（例如分子）和复杂模型（例如 Transformers 和图形神经网络）。PyNeuraLogic is not the best choice for non-relational and large tensor data.。

该框架的关键组成部分是一个可微分的逻辑程序，我们称之为模板。模板由以抽象方式定义神经网络结构的逻辑规则组成——我们可以将模板视为模型架构的蓝图。然后将模板应用于每个输入数据实例，以生成（通过基础和神经化）输入样本独有的神经网络。