为什么在模型训练过程中GPU利用率总是偏低，有没有什么有效方法可以提升？

本文共计496个文字，预计阅读时间需要2分钟。

目录+模型训练时GPU利用率低的原因+问题解决方法+如何提高模型训练GPU利用率+总结+最近在训练SSD模型

目录

• 模型训练时GPU利用率太低的原因
• 问题的解决办法
• 模型训练GPU利用率低，占用低怎么破
• GPU 显存占用低问题
• GPU利用率低问题
• 总结

模型训练时GPU利用率太低的原因

最近在训练SSD模型时发现GPU的利用率只有8%，而CPU的利用率却非常高。

后来了解到，一般使用CPU进行数据的读取和预处理，而使用GPU进行模型的正向传播和反向传播。由于CPU数据读取跟不上（读到内存+多线程+二进制文件），而GPU的处理速度太快，导致GPU的利用率不高。

最后总结一下，有的时候模型训练慢并不是因为显卡不行或者模型太大，而是在跑模型过程中有一些其他的操作导致速度很慢，尤其是文件的IO操作，这会导致GPU得不到连续性使用，整体速度特别慢。

问题的解决办法

1，关闭一些日志记录，减少日志IO操作频率。