初始化大模型的不同方式
llama.cpp=「发动机」—— 纯推理库，命令行或 C/C++ API 调用，什么都要自己拼。
Ollama=「整车」—— 把 llama.cpp 发动机包成 Docker 式服务，一键拉模型、自动启停、REST/OpenAI 兼容，零配置就能用。
| 维度 | llama.cpp | Ollama | |
|---|---|---|---|
| 定位 | 底层推理引擎 | 上层模型运行工具 | |
| 安装 | 需自编译或下 release 二进制 | 一条 `curl -fsSL https://ollama.ai/install.sh | sh` |
| 模型获取 | 手工下载/转换 GGUF | ollama pull qwen2.5:7b自动完成 | |
| 启动方式 | ./main或./server手动指定参数 | ollama run qwen2.5:7b直接对话 | |
| 接口 | 命令行、C/C++ API、可启 HTTP 但需自己写 systemd | 默认 11434 端口，OpenAI 格式即开即用 | |
| 配置 | 全程命令行参数，无持久化 | 自动写 systemd 服务，Modelfile 管理参数 | |
| 多模型并行 | 自己开多个端口/进程 | ollama run llama3另开实例即可 | |
| 跨平台 | 全平台，需自己管 GPU 驱动 | 同样全平台，GPU 依赖自动检测 | |
| 适用人群 | 需要深度定制、嵌入式、最小体积 | 想 5 分钟搭好本地 LLM 服务 |