如何获取ConvNeXt在飞桨上的预训练权重文件?
- 内容介绍
- 文章标签
- 相关推荐
本文共计1595个文字,预计阅读时间需要7分钟。
相关专题:
ConvNeXt
模型文件请见ConvNeXt.py, 下面说一下PyTorch模型转换PaddlePaddle模型的注意事项。
- 线性层PyTorch与PaddlePaddle的权重转换需要转置一下
- DropPath层需要自定义。我是参考了这篇文章 PiT:结合池化层的视觉 Transformer 网络
- PaddlePaddle在涉及维度的参数时,多用axis,PyTorch则是dim
- 有时需要自定义参数,PaddlePaddle的API在这里
- PaddlePaddle无permute,而是采用了transpose
- 其他简单的API映射请见这里
在这个py文件的第134和135行,给weight和bias乘了一个1,也就是没有做什么处理,这个是PyTorch的写法,PaddlePaddle的写法我还不会,麻烦知道的大佬回复一下。
权重
这里介绍一下本次精度验证的权重文件,总共有5个,分别代表了不同大小和版本的ConvNeXt。 首先来总览一下。
| name | resolution | acc@1 | #params | FLOPs |
|---|---|---|---|---|
| ConvNeXt-T | 224x224 | 82.1 | 28M | 4.5G |
| ConvNeXt-S | 224x224 | 83.1 | 50M | 8.7G |
| ConvNeXt-B | 224x224 | 83.8 | 89M | 15.4G |
| ConvNeXt-L | 224x224 | 84.3 | 198M | 34.4G |
| ConvNeXt-XL | 384x384 | 87.8 | 350M | 179.0G |
由于文件数量限制,这里只展示这5个不同版本,以及做精度验证。22K上的权重将放在其他数据集里在这里。这个项目用的数据集在ConvNeXt预训练模型PaddlePaddle版本里,欢迎大家下载使用。下面来做精度验证8!
精度验证
以下精度验证代码参考寂寞你快进去大佬的写法。
本文共计1595个文字,预计阅读时间需要7分钟。
相关专题:
ConvNeXt
模型文件请见ConvNeXt.py, 下面说一下PyTorch模型转换PaddlePaddle模型的注意事项。
- 线性层PyTorch与PaddlePaddle的权重转换需要转置一下
- DropPath层需要自定义。我是参考了这篇文章 PiT:结合池化层的视觉 Transformer 网络
- PaddlePaddle在涉及维度的参数时,多用axis,PyTorch则是dim
- 有时需要自定义参数,PaddlePaddle的API在这里
- PaddlePaddle无permute,而是采用了transpose
- 其他简单的API映射请见这里
在这个py文件的第134和135行,给weight和bias乘了一个1,也就是没有做什么处理,这个是PyTorch的写法,PaddlePaddle的写法我还不会,麻烦知道的大佬回复一下。
权重
这里介绍一下本次精度验证的权重文件,总共有5个,分别代表了不同大小和版本的ConvNeXt。 首先来总览一下。
| name | resolution | acc@1 | #params | FLOPs |
|---|---|---|---|---|
| ConvNeXt-T | 224x224 | 82.1 | 28M | 4.5G |
| ConvNeXt-S | 224x224 | 83.1 | 50M | 8.7G |
| ConvNeXt-B | 224x224 | 83.8 | 89M | 15.4G |
| ConvNeXt-L | 224x224 | 84.3 | 198M | 34.4G |
| ConvNeXt-XL | 384x384 | 87.8 | 350M | 179.0G |
由于文件数量限制,这里只展示这5个不同版本,以及做精度验证。22K上的权重将放在其他数据集里在这里。这个项目用的数据集在ConvNeXt预训练模型PaddlePaddle版本里,欢迎大家下载使用。下面来做精度验证8!
精度验证
以下精度验证代码参考寂寞你快进去大佬的写法。

