EdgeViTs复现的轻量级Vision-Transformer如何实现？

本文共计295个文字，预计阅读时间需要2分钟。

相关专题：

• Local aggregation：仅集成来自局部近似Token信号的局部聚合
• Global sparse attention：建模一组代表性Token之间的长期关系，其中每个Token都被视为一个局部窗口的代表；
• Local propagation：将委托学习到的全局上下文信息扩散到具有相同窗口的非代表Token。

       

• Local aggregation

  对于每个Token，利用Depth-wise和Point-wise卷积在大小为k×k的局部窗口中聚合信息(图3(a))。

• Global sparse attention

  对均匀分布在空间中的稀疏代表性Token集进行采样，每个r×r窗口有一个代表性Token。这里，r表示子样本率。然后，只对这些被选择的Token应用Self-attention(图3(b))。这与所有现有的ViTs不同，在那里，所有的空间Token都作为Self-attention计算中的query被涉及到。

• Local propagation

  通过转置卷积将代表性 Token 中编码的全局上下文信息传播到它们的相邻的 Token 中(图 3(c))。