《Compositional Attention Networks如何应用于机器推理的论文阅读？》
- 内容介绍
- 文章标签
- 相关推荐
本文共计2249个文字，预计阅读时间需要9分钟。
来源：ICLR+2018：机器推理的合成注意网络来源：https://arxiv.org/abs/1803.03067代码：https://github.com/stanfordnlp/mac-network作者笔记：https://cs.stanford.edu/people/dorarad/mac/blog.
一、问：
来源：ICLR 2018一、问题提出标题：机器推理的合成注意网络
来源：ICLR 2018 arxiv.org/abs/1803.03067
代码：github.com/stanfordnlp/mac-network
作者笔记：cs.stanford.edu/people/dorarad/mac/blog.html
虽然当前的深度神经网络模型在学习”输入和输出之间的直接映射“方面非常有效，其深度、规模和统计特性使得它们能够处理嘈杂和多样化的数据，但也限制了它们的可解释性，无法展示出一个连贯且透明的“思维过程”来得到他们的预测。
深度学习系统缺少推理能力，例如下例中，问题需要分步解决——从一个对象遍历到相关对象，迭代地朝着最终解决方案前进。
建立连贯的多步推理模型对于完成理解任务至关重要，作者文中提到了前人提出的一些将符号结构和神经模块起来的方法，例如：神经模块网络，其存在一定的问题，必须依赖于外部提供的结构化表示和功能程序，并且需要相对复杂的多阶段强化学习训练方案。这些模型结构的刚性和对特定操作模块的使用削弱了它们的鲁棒性和泛化能力。
为了在端到端的神经网络方法的通用性和鲁棒性 与 支持更加明确和结构化推理 的需求之间取得平衡，作者提出了MAC 网络，这是一种端到端的可微推理架构，用来顺序执行具体推理任务。
二、主要思想给定一个知识库K(对于VQA，是一个图像)和一个任务描述q(对于VQA，是一个问题)，MAC网络将问题分解为一系列推理步骤，每一个推理步骤使用一个MAC单元。
本文共计2249个文字，预计阅读时间需要9分钟。
来源：ICLR+2018：机器推理的合成注意网络来源：https://arxiv.org/abs/1803.03067代码：https://github.com/stanfordnlp/mac-network作者笔记：https://cs.stanford.edu/people/dorarad/mac/blog.
一、问：
来源：ICLR 2018一、问题提出标题：机器推理的合成注意网络
来源：ICLR 2018 arxiv.org/abs/1803.03067
代码：github.com/stanfordnlp/mac-network
作者笔记：cs.stanford.edu/people/dorarad/mac/blog.html
虽然当前的深度神经网络模型在学习”输入和输出之间的直接映射“方面非常有效，其深度、规模和统计特性使得它们能够处理嘈杂和多样化的数据，但也限制了它们的可解释性，无法展示出一个连贯且透明的“思维过程”来得到他们的预测。
深度学习系统缺少推理能力，例如下例中，问题需要分步解决——从一个对象遍历到相关对象，迭代地朝着最终解决方案前进。
建立连贯的多步推理模型对于完成理解任务至关重要，作者文中提到了前人提出的一些将符号结构和神经模块起来的方法，例如：神经模块网络，其存在一定的问题，必须依赖于外部提供的结构化表示和功能程序，并且需要相对复杂的多阶段强化学习训练方案。这些模型结构的刚性和对特定操作模块的使用削弱了它们的鲁棒性和泛化能力。
为了在端到端的神经网络方法的通用性和鲁棒性 与 支持更加明确和结构化推理 的需求之间取得平衡，作者提出了MAC 网络，这是一种端到端的可微推理架构，用来顺序执行具体推理任务。
二、主要思想给定一个知识库K(对于VQA，是一个图像)和一个任务描述q(对于VQA，是一个问题)，MAC网络将问题分解为一系列推理步骤，每一个推理步骤使用一个MAC单元。