Pytorch中Tensor类型有哪些详细解释?
- 内容介绍
- 文章标签
- 相关推荐
本文共计519个文字,预计阅读时间需要3分钟。
Tensor支持多种数据类型,每种类型对应CPU和GPU版本(除HalfTensor外)。默认的Tensor类型为FloatTensor,可通过torch.set_default_tensor_type()修改默认tensor类型(如默认类型为GPU的tensor)。
Tensor有不同的数据类型,每种类型分别有对应CPU和GPU版本(HalfTensor除外)。默认的Tensor是FloatTensor,可通过torch.set_default_tensor_type修改默认tensor类型(如果默认类型为GPU tensor,则所有操作都将在GPU上进行)。
Tensor的类型对分析内存占用很有帮助,例如,一个size为(1000,1000,1000)的FloatTensor,它有1000*1000*1000=10^9个元素,每一个元素占用32bit/8=4Byte内存,所以共占用大约4GB内存/显存。HalfTensor是专为GPU版本设计的,同样的元素个数,显存占用只有HalfTensor的一半,所以可以极大缓解GPU显存不足的问题,但是由于HalfTensor所能表示的数值大小和精度有限,所以可能出现溢出等问题。
本文共计519个文字,预计阅读时间需要3分钟。
Tensor支持多种数据类型,每种类型对应CPU和GPU版本(除HalfTensor外)。默认的Tensor类型为FloatTensor,可通过torch.set_default_tensor_type()修改默认tensor类型(如默认类型为GPU的tensor)。
Tensor有不同的数据类型,每种类型分别有对应CPU和GPU版本(HalfTensor除外)。默认的Tensor是FloatTensor,可通过torch.set_default_tensor_type修改默认tensor类型(如果默认类型为GPU tensor,则所有操作都将在GPU上进行)。
Tensor的类型对分析内存占用很有帮助,例如,一个size为(1000,1000,1000)的FloatTensor,它有1000*1000*1000=10^9个元素,每一个元素占用32bit/8=4Byte内存,所以共占用大约4GB内存/显存。HalfTensor是专为GPU版本设计的,同样的元素个数,显存占用只有HalfTensor的一半,所以可以极大缓解GPU显存不足的问题,但是由于HalfTensor所能表示的数值大小和精度有限,所以可能出现溢出等问题。

