字节面试官：为啥用 vLLM 不用 Ollama？PagedAttention、短板与选型框架
文章目录
- 前言
- 一、这道题的坑：不是比谁强，是看场景判断
- 二、Ollama：轻量优先，牺牲高并发
- 三、vLLM 的核心优势：PagedAttention 与连续批处理
- 四、同类框架对比：TGI、TensorRT-LLM、SGLang
- 五、PagedAttention 到底解决了什么
- 六、什么情况不选 vLLM
- 七、选型决策树：按四个维度做判断
- 八、从架构师视角看推理框架选型的几个工程取舍
- 九、面试话术：考官想听的是什么
- 总结
前言
圈子里有人去字节面试,被问了一道看起来简单、实际很容易答浅的题:
👔 你们线上推理为啥用 vLLM 不用 Ollama?
他想了想,答:“因为 vLLM 性能强,大家用的多。”
面试官没说话,接着追问:“优势在哪?短板在哪?PagedAttention 解决了什么?什么场景反而不该选 vLLM?”
他顿时有点懵。
这道题的坑在于,它不是一道"比谁强"的题,而是一道场景判断题。面试官想听的,不是你背一句"vLLM 性能好",而是你能不能结合业务场景做选型判断——什么场景该选 vLLM,什么场景 Ollama 更合适,各自的边界在哪。
读完这篇文章,你能搞明白:
- 为什么这道题是场景题不是性能题——选型的核心是业务匹配度
- Ollama 的设计边界——轻量优先的代价是高并发能力缺失
- vLLM 的核心优势——PagedAttention + 连续批处理 + 生态兼容
- PagedAttention 到底解决了什么——KV Cache 碎片化问题
- 同类推理框架