3、高性能计算相关知识解析

高性能计算相关知识解析

1. 高性能计算中的任务调度

在高性能计算里，任务调度至关重要。这里介绍两种常用的调度方法：块调度（Block Scheduling）和步长调度（Stride Scheduling）。

块调度代码如下：

Bsize = Bsize+1; if( id != 0 ) { Bstart = (id-1)*Bsize; Bend = id*Bsize - 1 } else { // want proc 0 to do last block Bstart = (nprocs-1)*Bsize; Bend = N-1 } // following in parallel, each processor using its Bstart //and Bend loop i=Bstart,..., Bend ...

当循环中连续索引存在数据依赖时，常采用块调度。它能将数据依赖问题缩小到块边界。

步长调度的伪代码如下：

loop i=id, id+nprocs, id+2*nprocs, ..., N ...

步长调度中，每个进程在执行的每个索引之间跳过固定数量的索引，实现起来相对简单。

2. 分布式内存计算机分类

共享内存并行计算存在总线争用问题，随着数据流量增加，总线会饱和，且提供大量共享内存存在诸多设计限制。因此，分布式内存计算成为替代方案