《论文阅读：如何通过抽象学习？以《基于神经状态机的学习》为例》
- 内容介绍
- 文章标签
- 相关推荐
本文共计2591个文字，预计阅读时间需要11分钟。
来源：NeurIPS+2019：抽象学习：神经状态机来源链接：[NeurIPS+2019](https://proceedings.neurips.cc/paper/2019/hash/c20a7ce2a627ba838cfbff082db35197-Abstract.)代码：暂无（该项目为网友复现，不完全）
来源：NeurIPS 2019一、问题提出标题：抽象学习:神经状态机
来源：NeurIPS 2019 proceedings.neurips.cc/paper/2019/hash/c20a7ce2a627ba838cfbff082db35197-Abstract.html
代码：暂无 （该项目为网友复现，不全面--> github.com/ceyzaguirre4/NSM )
针对神经网络和符号网络各自的优缺点，引入有限自动机的思想，提出一种神经状态机，将各自的互补优势整合到视觉推理任务中。
首先基于给定的图像，使用一个场景图抽取模型，得到对应的概率场景图。其中，对象被转化为节点，并使用属性表示表示特征；关系被转化为边，来捕获对象之间的空间关系和语义关系。此外，对输入的问题进行语义理解，并转化为一系列软指令。在推理过程中，概率场景图被视为一个有限状态机，利用指令集合在其上执行顺序推理，迭代遍历它的节点，以回答一个给定的问题或得出一个新的推理。
不同于一些旨在将多模态数据进行紧密交互的神经网络结构，神经状态机定义了一组语义概念embedding的概念，其描述领域的不同实体和属性，如各种对象、属性和关系。通过将视觉和语言形式转换为基于语义概念的表示，有效地使两种模态可以”说同一种语言“，从而可以在抽象的语义空间中进行综合推理，这使得结构从内容中分离出来，实现模型的模块化，增强模型的透明度和可解释性。
二、主要思想两个阶段：
- 建模：构造状态机。
本文共计2591个文字，预计阅读时间需要11分钟。
来源：NeurIPS+2019：抽象学习：神经状态机来源链接：[NeurIPS+2019](https://proceedings.neurips.cc/paper/2019/hash/c20a7ce2a627ba838cfbff082db35197-Abstract.)代码：暂无（该项目为网友复现，不完全）
来源：NeurIPS 2019一、问题提出标题：抽象学习:神经状态机
来源：NeurIPS 2019 proceedings.neurips.cc/paper/2019/hash/c20a7ce2a627ba838cfbff082db35197-Abstract.html
代码：暂无 （该项目为网友复现，不全面--> github.com/ceyzaguirre4/NSM )
针对神经网络和符号网络各自的优缺点，引入有限自动机的思想，提出一种神经状态机，将各自的互补优势整合到视觉推理任务中。
首先基于给定的图像，使用一个场景图抽取模型，得到对应的概率场景图。其中，对象被转化为节点，并使用属性表示表示特征；关系被转化为边，来捕获对象之间的空间关系和语义关系。此外，对输入的问题进行语义理解，并转化为一系列软指令。在推理过程中，概率场景图被视为一个有限状态机，利用指令集合在其上执行顺序推理，迭代遍历它的节点，以回答一个给定的问题或得出一个新的推理。
不同于一些旨在将多模态数据进行紧密交互的神经网络结构，神经状态机定义了一组语义概念embedding的概念，其描述领域的不同实体和属性，如各种对象、属性和关系。通过将视觉和语言形式转换为基于语义概念的表示，有效地使两种模态可以”说同一种语言“，从而可以在抽象的语义空间中进行综合推理，这使得结构从内容中分离出来，实现模型的模块化，增强模型的透明度和可解释性。
二、主要思想两个阶段：
- 建模：构造状态机。