CUDA技术如何应用于高性能计算？

本文共计1103个文字，预计阅读时间需要5分钟。

解决CUDA out of memory问题，以及CUDA error: out of memory问题的思路及总结：

1. 问题分析： - CUDA out of memory错误通常发生在GPU内存不足时。 - 可能的原因包括数据加载过多、模型复杂度过高、内存管理不当等。

2. 解决思路： - 优化数据加载：使用小批量数据训练，避免一次性加载过多数据到GPU。 - 模型简化：减少模型复杂度，使用更简单的网络结构。 - 内存管理：优化内存使用，如释放不再使用的变量。 - 显存清理：在训练循环中添加显存清理代码。

3. 具体操作： - 小批量训练：调整训练批次大小，例如将批次大小从1000减少到64。 - 模型调整：尝试减少网络层数或神经元数量。 - 代码示例： python trainer.train(x_train, t_train, x_val)

4. 总结： - 通过调整训练参数和优化模型结构，可以有效解决CUDA out of memory问题。 - 注意数据加载和内存管理，以避免GPU内存不足。

5. 输入数据维度： - 我的输入数据维度是(1000, 12, 24, 72)。

6. 数据输入示例： python trainer.train(x_train, t_train, x_val)

目录

• CUDA out of memory的解决
• CUDA error: out of memory问题
• 解决思路溯寻
• 总结

CUDA out of memory的解决

我的输入样本维度是(1000,12,24,72)，一开始我是这么输入数据的：

trainer.train(x_train, t_train, x_val, t_val)

发现必溢出，后来我取出其中400个样本输入：

trainer.train(x_train[:400], t_train[:400], x_val, t_val)

发现不溢出了，训练正常，然后我把400删掉，但没删冒号：

trainer.train(x_train[:], t_train[:], x_val, t_val)

竟然也没有溢出！！！虽然训练速度降了，但是也能正常训练，我不是很懂原理是啥，好神奇！

但是样本量一大起来，即使用冒号法还是可能会溢出。比方说我后来把4000个样本作为x/t_train：

>>>x_train.shape (4000,12,24,72) >>>t_train.shape (4000,24) >>>trainer.train(x_train[:], t_train[:], x_val, t_val) RuntimeError:CUDA out of memory...

之所以说“可能”会溢出，是因为确实是有小概率能正常训练的，但是大部分情况还是会out of memory…

不过这真的是一个“神奇”的方法，能从一定程度上解决CUDA out of memory 的问题。希望大佬能解释一下这其中的原理~谢谢！

-------------------------------------------------------------------

再附上两个我昨天看到的两种不同的解决方案。

一个是减少带梯度的中间变量（即非叶子节点）。简言之，能一行代码搞定的，尽量不要写成多行，即使写成多行，也要尽可能减少新变量的建立。

另一个是在eval的时候，让所有的变量都不带梯度。只需要添加一行代码：

with torch.no_grad():     outputs = Net_(inputs)

在with语句里的所有变量requires_grad都是False。

CUDA error: out of memory问题

本人遇到的问题是在训练是正常，一到验证时就会出现cuda error: out of memory的问题

解决思路溯寻

1.首先就是考虑减少batch_size和num_worker，对于我的情况不奏效

2.然后找到pin_memory发现是设置的True，改为false，仍旧不管用

3.包括把

 # Empty GPU cache         if torch.cuda.is_available():             torch.cuda.empty_cache()

放到报错位置的前后，不奏效

4.后来再聚焦问题关键，是一到验证就会出问题，所以专门查攻略，我初步怀疑是因为验证没有参与反向传播，梯度累积，内存爆了，但当时代码中有with torch.no_grad(): ，所以并没有发现关键，知道看到别人里面 forword是放在with torch.no_grad()后面的，所以最后

with torch.no_grad():                 # Forward pass                 loss, np_probs, hv_logits = self.forward(images, targets)

问题解决！

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持自由互联。