- 学习笔记
- 三大核心理念
- 并行化程序的过程
- Decomposition
- Assignment
- Orchestration
- mapping
- GPU与CUDA
- assignments
- assignment1
学习笔记
三大核心理念
- 多核执行：发掘程序的并行性，将可以并行的部分交给不同的处理器核执行
- SIMD执行：通过向量化，让一个处理器核一条指令对一个向量执行相同的操作
- 硬件多线程：在一个处理器核中维护多个上下文，当一个线程停顿时(如cache miss)，进行上下文切换执行其它线程，提高利用率
并行化程序的过程
Decomposition
发掘程序的并行性，将问题分解为可并行计算的多个小部分
Amdahl's law：设 \(S\)为程序中可以并行执行的部分，运行在\(p\)个处理器上，那么有加速比\(speedup \leq \frac{1}{(1-S)+\frac{S}{p}}\)
由此可见，设计的程序的可并行性是加速的决定性因素
ISPC 基本语法
Assignment
并行计算完成的时间，取决于最慢的那个线程
所以每个线程(或每个处理器核)执行的任务量越平均(即负载越平均)，理论上花费的时间就越短
可以将任务按照粒度依次分配给每个进程，粒度越小进程的负载越平均，但是进程间通信的开销也会变大
Cilk 语法
Orchestration
通信是广义的，节点间存在通信，线程间存在通信，线程对内存的访问也是一种通信
共享地址空间系统(多线程共享内存)：所有线程对同一个地址空间进行读写，缓存一致性由硬件自动维护，通过锁和屏障完成同步
消息传递系统(分布式系统)：每个处理核或节点有独立的内存地址空间，需要通过显式发送和接受消息来通信
以下以消息传递系统为例，节点间的通信分为同步通信和异步通信
同步通信采用了阻塞发送/接收的方式达到同步，即一直阻塞知道消息发送/接收成功，编程简单，但是并发度低
异步通信采用非阻塞发送/接收，发送时将消息复制并暂存在缓冲区内，需要接收时再取走消息，高并发，但是编程复杂
算数强度：计算次数与通信次数的比例
按照通信的类型，可以分为固有通信和人为通信，前者由算法固有的性质决定，后者由机器工作方式决定
通过改进算法(如使用分块技术)可以减少固有通信
mapping
并行任务被映射到对应的硬件上，可以由系统/程序员或者两者都有进行指定
GPU与CUDA
GPU的作用：给定一个场景的数学描述，经过模拟生成这个场景的图片，例如对每个像素计算一些输入，然后在每个像素上独立运行来计算一些颜色
在NVIDIA推出CUDA之前，操纵GPU进行科学计算需要将数据包装成图形渲染问题，这是相等低效且复杂的
GPU由很多个小的计算核心组成，所以可以很好地处理逻辑简单的并行计算
SM Processing Block组成如下
多个SMP组成了一个Stream Multi-processor(SM)，一个SM内的SMP共享内存
在CPU上，由编译器在软件层面实现SIMD；GPU上则是在硬件层面，每个SMP对于它的一个wrap(多个连续的PC相同的Cuda进程)执行隐式SIMD
CUDA 语法
assignments
环境：
OS:Windows11 wsl2 6.6.87.2-microsoft-standard-WSL2 Ubuntu 24.04.3 LTS
CPU: Intel Core i7 13620H 8 cores, 10 logic processors, AVX2
GPU:NVIDIA GeForce RTX 4060 Laptop