PyTorch张量运算实战：从基础操作到矩阵乘法的完整指南

PyTorch张量运算实战：从基础操作到矩阵乘法的完整指南

在深度学习领域，PyTorch已经成为最受欢迎的框架之一，而张量（Tensor）作为其核心数据结构，掌握其运算技巧是每个开发者必备的基本功。本文将带你从零开始，逐步深入PyTorch张量运算的各个层面，无论是简单的加减乘除，还是复杂的矩阵运算，都能找到清晰的解释和实用的代码示例。

1. PyTorch张量基础与数据类型转换

张量是PyTorch中的基本数据结构，可以看作是多维数组的扩展。理解张量的数据类型及其转换方法是进行高效运算的第一步。

1.1 张量创建与数据类型查看

创建张量有多种方式，最常用的是torch.randn()生成随机数张量：

import torch # 创建一个2×3的随机张量 t = torch.randn(2, 3) print(t) print(t.dtype) # 输出数据类型

这段代码会输出张量的值及其数据类型，默认情况下是torch.float32。

1.2 数据类型转换方法

PyTorch提供了多种数据类型转换方式，适用于不同场景：

1. 使用.type()方法进行精确转换

# float32转为float16 t1 = t.type(torch.float16) print(t1.dtype) # torch.float16 # float32转为int16 t2 = t.type(torch.int16) print(t2.dtype) # torch.int16

2. 快捷方法：.long()和.float()

t = torch.randn(2, 3) t3 = t.long() # 转换为int64 t4 = t.float() # 转换为float32 print(t3.dtype, t4.dtype)

注意：数据类型转换可能会损失精度或导致溢出，特别是在将浮点数转换为整数时。

1.3 常见数据类型对照表

2. 张量的基本数学运算

PyTorch张量支持各种数学运算，这些运算可以高效地在GPU上执行。

2.1 元素级运算

最基本的运算是对张量中的每个元素进行操作：

t = torch.randn(2, 3) print(t + 3) # 每个元素加3 print(t - 1) # 每个元素减1 print(t * 2) # 每个元素乘2 print(t / 4) # 每个元素除以4

2.2 张量间的运算

相同形状的张量可以进行对应元素的运算：

t1 = torch.ones(2, 3) t2 = torch.randn(2, 3) print(t1 + t2) # 对应元素相加 print(t1 - t2) # 对应元素相减 print(t1 * t2) # 对应元素相乘 print(t1 / t2) # 对应元素相除

2.3 常用数学函数

PyTorch提供了丰富的数学函数：

t = torch.randn(2, 3) print(t.abs()) # 绝对值 print(t.sqrt()) # 平方根 print(t.exp()) # 指数函数 print(t.log()) # 自然对数 print(t.sigmoid()) # Sigmoid函数 print(t.mean()) # 平均值 print(t.sum()) # 总和

3. 矩阵运算与线性代数操作

矩阵运算是深度学习的核心，PyTorch提供了完整的线性代数运算支持。

3.1 转置操作

转置是矩阵运算中最基本的操作之一：

t = torch.randn(2, 3) print(t) print(t.T) # 转置操作

对于高维张量，可以使用permute方法进行更灵活的维度交换：

t = torch.randn(2, 3, 4) print(t.permute(2, 0, 1)) # 将维度顺序从(0,1,2)变为(2,0,1)

3.2 矩阵乘法

矩阵乘法是神经网络中最常用的运算之一：

# 矩阵乘法 A = torch.randn(2, 3) B = torch.randn(3, 4) print(torch.matmul(A, B)) # 2×4矩阵 # 等价写法 print(A @ B)

3.3 批量矩阵乘法

在处理批量数据时，torch.bmm非常有用：

# 批量矩阵乘法 batch_size = 5 A = torch.randn(batch_size, 2, 3) B = torch.randn(batch_size, 3, 4) print(torch.bmm(A, B).shape) # 输出: torch.Size([5, 2, 4])

3.4 其他线性代数运算

PyTorch还支持多种线性代数运算：

t = torch.randn(3, 3) print(torch.det(t)) # 行列式 print(torch.inverse(t)) # 逆矩阵 print(torch.eig(t)) # 特征值和特征向量 print(torch.svd(t)) # 奇异值分解

4. 张量与NumPy的互操作

PyTorch与NumPy可以无缝转换，这在数据处理流程中非常有用。

4.1 张量转NumPy数组

t = torch.randn(2, 3) numpy_array = t.numpy() print(type(numpy_array)) # <class 'numpy.ndarray'>

4.2 NumPy数组转张量

import numpy as np arr = np.random.randn(3, 4) t = torch.from_numpy(arr) print(type(t)) # <class 'torch.Tensor'>

4.3 标量值的提取

对于只包含单个值的张量，可以使用.item()方法提取Python标量：

t = torch.tensor([3.1415]) value = t.item() print(value, type(value)) # 3.1415 <class 'float'>

5. 高级张量操作与性能优化

掌握一些高级张量操作可以显著提升代码效率和可读性。

5.1 广播机制

PyTorch支持NumPy风格的广播机制：

# 广播示例 A = torch.randn(2, 3) B = torch.randn(3) # 形状(3,) print(A + B) # B会被广播为(2,3)

5.2 内存共享与视图操作

理解PyTorch的内存共享机制对性能优化至关重要：

t = torch.randn(2, 3) t_view = t.view(3, 2) # 视图操作，共享内存 t_clone = t.clone() # 完全复制，不共享内存 print(t.storage().data_ptr() == t_view.storage().data_ptr()) # True print(t.storage().data_ptr() == t_clone.storage().data_ptr()) # False

5.3 原地操作

原地操作可以节省内存，但需要谨慎使用：

t = torch.randn(2, 3) print(t) t.add_(1) # 原地加1 print(t) # t的值已经改变

常见的原地操作方法后缀为_，如add_()、mul_()等。

5.4 设备间传输

在CPU和GPU之间传输张量：

# 检查GPU是否可用 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") t = torch.randn(2, 3) t_gpu = t.to(device) # 传输到GPU t_cpu = t_gpu.cpu() # 传输回CPU

在实际项目中，我发现合理使用torch.no_grad()上下文管理器可以显著减少内存使用，特别是在推理阶段：

with torch.no_grad(): # 这里的所有操作不会构建计算图 output = model(input_tensor)