llama.cpp 参数调优大全（4060 最优配置）

文章目录

• 🚀 llama.cpp 参数调优大全（4060 最优配置）
• 🧠 一、先说核心结论（最重要）
• ⚙️ 二、推荐模型组合（4060）
• • • ✅ 最优模型
    • ❗ 不推荐
    • 推荐量化
• 🧩 三、核心参数详解（重点）
• • 1️⃣ `-ngl`（GPU层数，最关键）
  • • 🎯 4060推荐：
    • 原理
  • 2️⃣ `-c`（上下文长度）
  • • 🎯 推荐：
  • 3️⃣ `-b`（batch size）
  • • 🎯 推荐：
    • 原理
  • 4️⃣ `-t`（CPU线程数）
  • • 🎯 推荐：
  • 5️⃣ `--gpu-layers`（等价于-ngl）
  • 6️⃣ `--flash-attn`（重点优化）
  • 7️⃣ `--mlock`（锁内存）
  • 8️⃣ `--numa`（多CPU优化）
  • 9️⃣ `--temp / --top-p / --top-k`
• 🔥 四、4060 最优启动命令（直接用）
• • ✅ 标准推荐版（稳定）
  • ⚡ 高性能版（激进）
  • 🟢 保守稳定版（不崩）
• 📊 五、性能调优思路（非常重要）
• • 🎯 调优优先级
  • 🧠 调参逻辑
• ⚠️ 六、常见坑（必看）
• • ❌ 1. 一上来开4096上下文
  • ❌ 2. ngl开太大
  • ❌ 3. batch太大
  • ❌ 4. 忽略量化
• 🧠 七、进阶优化（高手用）
• • 🔥 1. KV Cache优化
  • 🔥 2. Rope scaling（长上下文）
  • 🔥 3. 多模型切换
• 🧭 八、4060最佳配置总结
• 🚀 一句话结论
• • 📖 延伸阅读