如何通过DARTS进行论文深度阅读分析？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1430个文字，预计阅读时间需要6分钟。
论文阅读：DARTS与DARTS来源+ICLR2019。作者：CMU（Google Brain）、DeepMind。解决的问题+主要解决的是NAS（神经网络架构搜索）的可扩展性问题。实际上主要解决的就是神经网络的搜索计算量问题。
[论文阅读]DARTS DARTS 来源ICLR2019。作者单位CMU（Google brain），DeepMind。
解决的问题主要解决的是NAS（神经网络架构搜索）的可扩展性的问题。其实主要解决的就是神经网络搜索计算量要求大、效果并不一定很好的问题。
论文发表时的主流解法及存在的问题主流解法存在的主要问题就是算力要求极高，且可扩展性不强。
主要有强化学习方法、进化算法等。
一些操作包括：设定特殊的搜索空间、对每个独立的架构进行权重或表现估计、多个结构之间的权重共享/继承。
方法总结来说，就是将离散空间的搜索问题松弛之后转换为连续问题，使用梯度下降法处理。这种变为连续的方法并不是首创，但是之前的变为连续的方式基本上都是微调模型中的某个特定方面，本方法是调整一整个模型的架构。以下为搜索过程详细介绍。
搜索空间搜索的目标是结构中的一个cell，对CNN来说需要堆叠这个cell形成最后的网络，对RNN来说则是递归使用这个cell。
在搜索过程中，一个cell可以表示成一个有向无环图。假设每个cell含有N个节点，其中每个节点\(x^{(i)}\)表示一个隐含表示，每一条从i节点到j结点的边\(o^{(i,j)}\)表示一种操作（例如卷积等），每个节点值由之前节点与连接决定。举例：
上图中a表示确定一个cell中含有四个节点，需要进行连接，第二张图列出了所有可能的连接方式，第三张图中进行梯度下降之后选出了最有可能的d输出。
松弛与优化O是待选的操作集合（例如卷积，最大池化，zero操作），每个操作都可以看成是对结点的一个函数。
本文共计1430个文字，预计阅读时间需要6分钟。
论文阅读：DARTS与DARTS来源+ICLR2019。作者：CMU（Google Brain）、DeepMind。解决的问题+主要解决的是NAS（神经网络架构搜索）的可扩展性问题。实际上主要解决的就是神经网络的搜索计算量问题。
[论文阅读]DARTS DARTS 来源ICLR2019。作者单位CMU（Google brain），DeepMind。
解决的问题主要解决的是NAS（神经网络架构搜索）的可扩展性的问题。其实主要解决的就是神经网络搜索计算量要求大、效果并不一定很好的问题。
论文发表时的主流解法及存在的问题主流解法存在的主要问题就是算力要求极高，且可扩展性不强。
主要有强化学习方法、进化算法等。
一些操作包括：设定特殊的搜索空间、对每个独立的架构进行权重或表现估计、多个结构之间的权重共享/继承。
方法总结来说，就是将离散空间的搜索问题松弛之后转换为连续问题，使用梯度下降法处理。这种变为连续的方法并不是首创，但是之前的变为连续的方式基本上都是微调模型中的某个特定方面，本方法是调整一整个模型的架构。以下为搜索过程详细介绍。
搜索空间搜索的目标是结构中的一个cell，对CNN来说需要堆叠这个cell形成最后的网络，对RNN来说则是递归使用这个cell。
在搜索过程中，一个cell可以表示成一个有向无环图。假设每个cell含有N个节点，其中每个节点\(x^{(i)}\)表示一个隐含表示，每一条从i节点到j结点的边\(o^{(i,j)}\)表示一种操作（例如卷积等），每个节点值由之前节点与连接决定。举例：
上图中a表示确定一个cell中含有四个节点，需要进行连接，第二张图列出了所有可能的连接方式，第三张图中进行梯度下降之后选出了最有可能的d输出。
松弛与优化O是待选的操作集合（例如卷积，最大池化，zero操作），每个操作都可以看成是对结点的一个函数。