大模型推理引擎vLLM(15): Scheduler / Worker整体介绍
文章目录
- 1 V1 motivation
- 2 How to push out a refactor
- 3 Schedule
- 3.1 设计思想
- 3.2 代码文件位置
- 4 General architecture
- 4.1 separate process
- 4.2 Schedule & worker in separate process
- 5 Worker
- 5.1 Persistent baching
- 5.2 Piecewise cudagraph
- 6 atten kernel
- 参考文献
该博客为看视频时的简单笔记，感兴趣的可以直接去看原视频：[EP06] vllm最新v1，代码仙人指路
1 V1 motivation
2 How to push out a refactor
3 Schedule
3.1 设计思想
他的设计思想就是，相比上次的request，这次的request我们需要拓展多少个token，利用这个思想就可以做所有的处理，
3.2 代码文件位置
vllm/vllm/v1/core/sched
4 General architecture
4.1 separate process
把该放在不同process的东西放在了不同的process里面。
4.2 Schedule & worker in separate process
5 Worker
5.1 Persistent baching
5.2 Piecewise cudagraph
6 atten kernel
参考文献
[EP06] vllm最新v1，代码仙人指路