10.4 AI加速器选型：GPU、TPU、NPU架构与算力对比
AI加速器选型：GPU、TPU、NPU架构与算力对比
选对硬件，降低成本、提升效率。本节基于《AI工程》第9章「Inference Optimization」— Understanding Inference Optimization：AI Accelerators（架构、内存带宽、算力对比）。
一、主流加速器
Chip Huyen 在《AI工程》第9章将AI 加速器列为理解推理优化的基础。推理性能受算力、内存带宽、软件栈等多因素影响。选对硬件是降低成本、提升效率的前提。
| 类型 | 代表 | 特点 |
|---|---|---|
| GPU | NVIDIA A100、H100 | 生态成熟、通用 |
| TPU | Google TPU v4/v5 | 大 batch 训练优 |
| NPU | 华为昇腾、寒武纪 | 国产、推理优化 |
二、关键指标
《AI工程》隐含的选型维度：
| 指标 | 说明 |
|---|---|
| 算力 | TFLOPS（FP16） |
| 显存 | HBM 容量与带宽 |
| 互联 | 多卡通信带宽< |