134、部署方式全景：API、自托管、边缘端——模型部署的成本与取舍

134、部署方式全景：API、自托管、边缘端——模型部署的成本与取舍

上周五凌晨两点，我盯着终端里疯狂滚动的错误日志，CPU风扇像直升机一样轰鸣。一个客户的生产环境里，我们自托管的LLM服务突然OOM，原因是并发请求量比预估高了3倍，而我们的推理服务器配置的是单卡A100，显存32GB，根本扛不住。更讽刺的是，客户其实只需要一个简单的文本分类模型，我们却用了一个70B的大模型去跑——典型的“用牛刀杀鸡”式部署。这个教训让我意识到，模型部署从来不是“能跑就行”，而是一场关于成本、延迟、吞吐量和维护复杂度的多维博弈。

API调用：最省心的“外包”模式

如果你只是想快速验证一个想法，或者团队里没有专职的MLOps工程师，API调用几乎是唯一理性的选择。OpenAI、Claude、文心一言、通义千问都提供了现成的接口，你只需要一个API Key和几行代码。

# 别这样写：硬编码API Key到代码里api_key="sk-xxxxxxxxxxxx"# 这里踩过坑，git push后Key被泄露，账单直接炸了# 正确姿势：环境变量或配置文件