动手学深度学习｜深度学习硬件基础：CPU 和 GPU 到底有什么区别？为什么训练模型更喜欢 GPU？

前言

学完前面的卷积神经网络、批量归一化、残差网络之后，很多同学会慢慢注意到一个非常现实的问题：

模型会写了，代码也能跑了，但为什么有时候训练特别慢？

这时候你就会接触到深度学习里一个非常重要的话题——硬件。

在深度学习中，最常见的两类计算硬件就是：

• CPU

• GPU

很多初学者一开始会有些疑惑：

• CPU 和 GPU 不都是用来算东西的吗？

• 为什么训练深度学习模型时总说“有没有 GPU”特别重要？

• GPU 到底快在哪？

• CPU 就不能训练深度学习吗？

• 什么时候该用 CPU，什么时候该用 GPU？

这篇文章就把这些问题系统讲清楚。

一、什么是 CPU？

CPU 的全称是：

Central Processing Unit
中央处理器

它可以理解为计算机的“大脑”，负责执行各种通用任务。

比如：

• 运行操作系统

• 打开浏览器

• 处理文件

• 控制程序流程

• 执行各种逻辑判断

• 调度内存和外设

CPU 的特点可以概括为：

通用性强、逻辑控制强、单核能力强。

也就是说，CPU 很擅长处理：

• 复杂逻辑

• 分支判断

• 串行任务

• 多种不同类型的小任务切换

二、什么是 GPU？

GPU 的全称是：

Graphics Processing Unit
图形处理器

最早它主要是为了图形渲染设计的，比如：

• 3D 游戏

• 图像显示

• 图形绘制

但后来人们发现，GPU 有一个非常强的特点：

它特别擅长做大规模、重复性的并行计算。

而深度学习中最核心的计算恰好就是：

• 矩阵乘法

• 向量运算

• 卷积运算

• 大量相同结构的数值计算

所以 GPU 和深度学习天然非常匹配。

三、CPU 和 GPU 的本质区别是什么？

如果用一句最直白的话来概括：

CPU 擅长少而复杂的任务，GPU 擅长多而重复的任务。

1. CPU：少量强核心

CPU 一般核心数相对少，但每个核心都很强，擅长做复杂控制。

你可以把 CPU 理解成：

• 几个非常聪明、能力很强的专家

• 每个人都能独立处理复杂问题

• 适合解决需要大量判断和调度的任务

2. GPU：大量相对简单的核心

GPU 通常有大量计算核心，单个核心没有 CPU 那么“全能”，但数量特别多。

你可以把 GPU 理解成：

• 一大群分工明确的工人

• 每个人负责重复做同一种小计算

• 适合大规模并行处理

四、为什么深度学习特别适合 GPU？

这是最关键的问题。

深度学习训练的本质，很多时候就是在反复做这些事情：

• 张量加法

• 张量乘法

• 矩阵乘法

• 卷积

• 激活函数计算

• 梯度反向传播

这些操作有一个共同特点：

计算量大，而且很多元素之间可以同时计算。

例如矩阵乘法：

矩阵中每个位置的结果，很多时候都可以独立并行算出来。

这就非常适合 GPU。

所以你可以这样理解：

• CPU 更像“会思考、会调度”的总指挥

• GPU 更像“能同时动手干活”的超大施工队

而深度学习训练本质上就是一个巨大的“重复数值计算工地”，所以 GPU 会特别占优势。

五、CPU 和 GPU 在深度学习中的分工

很多人以为：

只要有 GPU，CPU 就没用了。

其实不是。

在深度学习任务里，CPU 和 GPU 通常是配合工作的。

1. CPU 负责什么？

CPU 通常负责：

• 程序整体控制

• 数据读取

• 数据预处理

• 调用训练流程

• 调度 GPU

• 处理一些不适合 GPU 的逻辑任务

比如你训练模型时：

• 读图片

• 解码图片

• 做数据增强

• 组织 batch

• 启动 forward / backward

• 保存日志和权重

这些很多工作都和 CPU 有关。

2. GPU 负责什么？

GPU 主要负责：

• 神经网络前向传播

• 反向传播

• 梯度计算

• 参数更新中涉及的大规模张量运算

也就是说：

真正最吃算力的部分，通常交给 GPU。

六、为什么 GPU 训练往往快很多？

原因主要有三点。

1. 并行能力强

深度学习里的大量张量运算可以并行执行，而 GPU 天生适合这种场景。

比如卷积层中：

• 一个特征图很多位置可以同时算

• 多个卷积核可以同时算

• 多个样本也可以并行算

所以 GPU 能大幅提升吞吐量。

2. 专门为高吞吐数值计算优化

GPU 在设计上就更重视：

• 高并发

• 大规模浮点计算

• 高带宽数据搬运

而深度学习正好大量依赖这些能力。

3. 深度学习框架对 GPU 做了很多优化

像：

• PyTorch

• TensorFlow

这些框架都对 GPU 计算做了大量底层优化，例如：

• CUDA

• cuDNN

• 高效矩阵库

所以实际训练时，GPU 通常能比 CPU 快很多倍，甚至几十倍。

七、CPU 就不能做深度学习吗？

当然能。

其实很多初学者最开始就是在 CPU 上跑模型的。

例如：

• 学习张量操作

• 调试小模型

• 跑很小的数据集

• 验证代码是否正确

这些场景用 CPU 完全没问题。

但是如果你开始训练：

• CNN

• ResNet

• 大一点的数据集

• 多 epoch 训练

那 CPU 往往就会很慢。

所以更准确地说：

CPU 不是不能做深度学习，而是不适合做大规模训练。

八、什么时候更适合用 CPU？

下面这些场景，CPU 很常见。

1. 学习和调试阶段

模型很小，主要看代码能不能跑通，这时 CPU 就够了。

2. 数据预处理

很多数据加载、文件处理、文本解析任务，本来就更适合 CPU。

3. 小模型推理

如果模型很轻，或者对实时性要求不极端，CPU 推理也可以。

4. 没有 GPU 环境时

比如课程实验、普通电脑、轻量任务，CPU 也能完成基础工作。

九、什么时候更适合用 GPU？

下面这些场景，GPU 几乎是刚需。

1. 训练深度神经网络

尤其是：

• CNN

• RNN

• Transformer

• 大型多层 MLP

2. 数据量较大时

数据集一大，训练次数一多，CPU 训练时间会非常夸张。

3. 需要快速迭代实验时

比如你要频繁调：

• 学习率

• batch size

• 网络结构

• 损失函数

没有 GPU，试错成本会很高。

4. 需要跑较大 batch 时

GPU 更适合处理大 batch 张量并行计算。

十、深度学习里常说的显存是什么？

讲 GPU 就绕不开一个概念——显存。

显存可以理解成：

GPU 自己的高速工作内存

在训练模型时，显存里要存很多东西，比如：

• 模型参数

• 中间激活值

• 梯度

• optimizer 状态

• 输入数据 batch

所以显存够不够，直接影响你能不能训练某个模型。

显存不足会怎么样？

最常见的情况就是报错：

• CUDA out of memory

• OOM

这说明 GPU 显存不够了。

通常解决方法包括：

• 减小 batch size

• 降低输入分辨率

• 换更小的模型

• 使用混合精度训练

• 梯度累积

十一、GPU 这么强，是不是什么都比 CPU 好？

不是。

GPU 的优势非常明显，但它也不是万能的。

GPU 不擅长的地方

1. 复杂逻辑控制

如果任务里有很多 if-else、分支跳转、复杂调度，GPU 反而不一定占优。

2. 小规模任务

如果任务非常小，数据搬运到 GPU 的开销可能都比计算本身大。

3. 通用系统任务

像操作系统调度、文件系统管理、普通办公软件运行，还是 CPU 更适合。

所以并不是“GPU 全面替代 CPU”，而是：

它们擅长的方向不同。

十二、为什么把数据搬到 GPU 也要时间？

这是很多初学者容易忽略的点。

训练时，数据通常一开始在：

• 硬盘

• 内存

而 GPU 有自己的显存。

所以数据要先经过：

• 硬盘 → 内存

• 内存 → 显存

这个过程叫数据传输。

如果：

• 数据加载太慢

• CPU 预处理跟不上

• 数据传输效率低

那 GPU 可能会“闲着等数据”。

这也是为什么实际训练时，不只是看 GPU 强不强，还要看：

• CPU 是否够用

• 内存是否够用

• 数据加载是否高效

十三、PyTorch 中如何查看和使用 CPU / GPU？

下面给一个最基础的例子。

import torch print(torch.cuda.is_available()) # 是否有可用GPU print(torch.cuda.device_count()) # GPU数量 print(torch.cuda.get_device_name(0)) # 第0块GPU名字

如果要指定设备：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print(device)

把张量放到 GPU：

x = torch.tensor([1.0, 2.0, 3.0]).to(device) print(x)

把模型放到 GPU：

model = MyNet().to(device)

训练时也要记得把数据放到同一个设备：

for X, y in dataloader: X = X.to(device) y = y.to(device) pred = model(X)

这一点非常重要：

模型和数据必须在同一设备上。

十四、一个直观例子：为什么矩阵运算更适合 GPU？

假设我们要做一个很大的矩阵乘法：

这里会产生大量重复计算。

比如输出矩阵中每个元素，都是一行和一列的点积。
这些点积之间很多都可以同时计算。

所以：

• CPU：也能算，但更多是少量强核心分工做

• GPU：可以让大量核心同时参与

这就是为什么深度学习里大量线性代数操作特别适合 GPU。

十五、学习深度学习硬件时最该抓住的核心点

1. CPU 和 GPU 的定位不同

• CPU：通用、擅长逻辑控制

• GPU：并行、擅长大规模数值计算

2. 深度学习训练特别适合 GPU

因为核心操作大多是矩阵和张量并行计算。

3. CPU 和 GPU 是协同关系

不是谁替代谁，而是：

• CPU 负责调度和数据准备

• GPU 负责重计算部分

4. 显存是 GPU 训练中的关键资源

很多训练问题本质上都是显存问题。

5. 小任务和调试阶段，CPU 也很有价值

不是所有任务都非 GPU 不可。

十六、从深度学习发展角度看，为什么硬件这么重要？

深度学习的发展，不只是算法发展，也是硬件发展的结果。

如果没有更强的计算硬件，很多深层网络即便理论上很好，也根本训不出来。

比如：

• AlexNet 的成功，和 GPU 训练密切相关

• 更深的 ResNet、Transformer，也都依赖强算力支持

所以可以说：

现代深度学习的爆发，本质上是算法、数据、硬件三者共同推动的结果。

十七、总结

这篇关于 CPU 和 GPU，最核心的内容可以记成下面几点：

1. CPU 是中央处理器

擅长通用计算、逻辑控制和串行任务。

2. GPU 是图形处理器

擅长大规模并行数值计算。

3. 深度学习训练更偏爱 GPU

因为神经网络中大量操作都可以并行化。

4. CPU 和 GPU 在训练中通常协同工作

• CPU 负责数据准备和流程控制

• GPU 负责前向、反向和大规模张量计算

5. 显存是 GPU 训练中的重要限制因素

显存不足会直接影响模型训练。

十八、结尾

对于深度学习来说，硬件从来都不是“边角知识”，而是非常核心的一部分。

因为很多时候，决定你能不能快速做实验、能不能训更大的模型、能不能高效迭代的，不只是你会不会写网络结构，还包括：

你是否理解 CPU 和 GPU 的分工，以及它们为什么对深度学习这么重要。

学到这里，你就会发现：

深度学习不是只在研究“模型怎么设计”，也在研究“模型怎么高效地算出来”。