【信息科学与工程学】计算机科学与自动化 ——第六十五篇 虚拟化/MIG 系列02

401

性能优化

GPU虚拟化+容器

MIG+容器

基于GPU内存带宽隔离的容器化AI训练任务调度算法

1.带宽模型：每个MIG实例带宽 Bi​=Btotal​⋅SMtotal​SMi​​，其中 Btotal​=900GB/s，SMtotal​=56
2.容器约束：每个容器请求GPU内存 Mi​∈{4,8,16}GB，带宽需求 bi​=α⋅Mi​，其中 α=20GB/s/GB
3.调度目标：将容器分配到MIG实例，最小化带宽不匹配：min∑i​∥bi​−Balloc(i)​∥
4.放置约束：每个MIG实例最多一个容器，Mi​≤Malloc(i)max​