PyTorch中如何实现CUDA操作？

本文共计1654个文字，预计阅读时间需要7分钟。

目录+前言+一.常见CPU和GPU操作命令+二.CPU和GPU设备上的Tensor

1.Tensor从CPU复制到GPU上

1.1 直接在GPU上创建Tensor 2.CUDA Streams三.固定缓冲区+四.自动设备感知

1.适配CPU和GPU设备

2.模型迁移到GPU设备

目录

• 前言
• 一.常见CPU和GPU操作命令
• 二.CPU和GPU设备上的Tensor
• 1.Tensor从CPU拷贝到GPU上
• 2.直接在GPU上创建Tensor
• 3.CUDA Streams
• 三.固定缓冲区
• 四.自动设备感知
• 1.适配CPU和GPU设备
• 2.模型迁移到GPU设备

前言

CUDA(Compute Unified Device Architecture)是NVIDIA推出的异构计算平台，PyTorch中有专门的模块torch.cuda来设置和运行CUDA相关操作。