Mastering GPU Parallel Programming with CUDA: ( HW SW )

精通 GPU 并行编程（CUDA）：硬件与软件

- 最近更新时间：2025 年 10 月

- 视频格式：MP4，H.264 编码，1920×1080 分辨率

- 语言：英语 + 字幕

- 课时：58 讲，共 23 小时

- 文件大小：16GB

2. 课程目标

- 全面理解 GPU 与 CPU 架构差异

- 学习 GPU 的发展历史，从早期到最新产品

- 理解 GPU 的内部结构

- 理解不同类型的内存及其对性能的影响

- 了解 GPU 内部组件的最新技术

- 掌握 CUDA 编程基础

- 在 Windows 与 Linux 平台上使用 CUDA 进行 GPU 编程

- 学习高效并行化方法

- 性能分析与调优（Profiling and Performance Tuning）

- 利用共享内存（Shared Memory）提升性能

3. 课程前置要求（Requirements）

- C 与 C++ 基础

- Linux 与 Windows 基础操作

- 计算机体系结构基础

4. 课程描述（Description）

本课程采用实践教学，指导学习者使用 CUDA 释放现代 GPU 的强大并行计算能力。课程从 GPU 硬件基础开始，梳理主流架构的演进（Fermi → Pascal → Volta → Ampere → Hopper），并通过代码实验逐步学习如何编写、分析与优化高性能内核。

说明：这是一个独立的培训资源，不隶属于 NVIDIA 公司。文中使用的 “CUDA”、“Nsight” 及架构代号均为 NVIDIA 的商标，仅用于事实性描述。

课程核心技能

- GPU 与 CPU 基础：GPU 为何在数据并行任务中占优势

- 架构代际演进：对性能影响最大的硬件特性

- CUDA Toolkit 安装：Windows、Linux、WSL 环境配置与首次运行验证

- CUDA 核心概念：线程（thread）、块（block）、网格（grid）、内存层次结构，并通过向量加法等实验巩固

- 使用 Nsight Compute / nvprof 进行性能分析与调优：测量占用率（occupancy）、隐藏延迟、定位性能瓶颈

- 矩阵二维索引：编写高效的线性代数内核

- 优化方法：处理非 2 的幂数据、利用共享内存、最大化带宽、最小化 warp 分化

- 调试与错误处理：使用运行时 API 检查，编写可交付的稳健代码

课程收获

完成课程后，学习者将能够设计、分析并调优在现代 GPU 上高效运行的 CUDA 内核，具备处理科学计算、工程计算与 AI 任务的能力。

5. 适用人群（Who this course is for）

- 对 GPU 与 CUDA 感兴趣的学习者

- 工程专业学生、研究人员及其他相关从业

Mastering GPU Parallel Programming with CUDA: ( HW & SW )