LLM 节点调参-AI不再胡扯
AI “胡说八道”？LLM 节点调参
Flow 搭好了，跑通了，上线了。然后用户反馈来了：“这 AI 怎么有时候像个诗人，有时候又像个杠精？”或者账单来了：“这 Token 怎么烧得比印钞还快？”
其实，Dify 里的 LLM 节点就像是一辆豪车。出厂设置能开，但想跑得快、省油、还不翻车，你得会调教。今天不整官方文档翻译，就聊聊那些参数到底咋配，才能在生产环境里“稳如老狗”。
1. 模型选择：别动不动就“上大号”
- 原则：合适比贵重要。
- 简单任务（分类/提取）：用轻量模型（如 Haiku、国产高速版）。响应快，成本低，效果差不多。
- 复杂任务（推理/代码）：上 heavyweight（如 GPT-4o）。逻辑错了，省那点钱不够赔用户体验的。
- 避坑：别一个模型包打天下。在 Dify 里加个“条件分支”，简单问题走小路，复杂问题走大路。
2. Temperature（温度）：AI 的“情绪稳定器”
- 0.0 - 0.3：高冷学霸。答案确定、严谨。适合做数学题、信息提取、JSON 输出。
- 0.5 - 0.7：正常人类。有逻辑也有点灵活性。适合大多数客服场景。
- 0.8 - 1.0+：艺术家/疯子。脑洞大开，但也容易胡扯。适合写诗、创意生成。
- 血泪教训：曾经有个哥们做“合同审查”，Temperature 设了 0.9。结果 AI 不仅审查了合同，还顺便给甲方写了首藏头诗，最后把违约金条款给“创意修改”了。
- 铁律：如果要输出固定格式（如 JSON），Temperature 必须0。否则大括号都可能给你漏了。
3. Top P & Penalty：专治“复读机”
- Top P：通常保持0.9默认值最稳。别和 Temperature 同时大幅调整，这俩耦合。
- Presence/Frequency Penalty：发现 AI 像祥林嫂一样车轱辘话来回说？把 Frequency Penalty 拉到0.1 - 0.3。
- 警告：别拉太高（超过 0.5），否则 AI 为了避开重复词，开始发明新词，语句就不通顺了。
4. Max Tokens：你的“信用卡额度”
- 作用：限制 AI 最多能说多少字。
- 建议：客服回答一般500 - 800tokens 足够了。用户没耐心看小作文。
- 价值：既省钱，又防超时。别指望 AI 有分寸，你得帮它踩刹车。
5. 重点补课：【记忆】vs【上下文】
这俩最容易混，很多 Flow 跑偏就是因为这儿没弄懂。
记忆 (Memory)
- 在哪配：开始节点 (Start Node)，不在 LLM 节点里。
- 管什么：对话历史。也就是“刚才用户说了啥，AI 回了啥”。
- 怎么配：设置“窗口大小”（比如最近 5 轮）。
- 场景：多轮聊天必须开。如果是单轮任务（比如翻译），直接关掉，否则带着历史记忆不仅费 Token，还会干扰当前任务（比如上一轮聊做饭，这一轮聊代码，AI 容易串台）。
上下文 (Context)
- 在哪配：知识库节点或LLM 节点的上下文引用。
- 管什么：外部知识。也就是“公司文档、产品手册、FAQ"。
- 怎么配：通过检索节点把相关文档片段塞给 LLM。
- 场景：知识库问答必须开。
俩有啥区别？
- 记忆是“流动的”：每次对话都在变，存的是聊天内容。
- 上下文是“静态的”：基于你的知识库，存的是事实资料。
- 别混用：别把产品手册当记忆存（太费钱），也别指望靠记忆让 AI 记住公司规定（记不住）。
6. System Prompt：AI 的“入职培训”
- 原则：指令越具体，幻觉越少。
- 错误：“你是个助手。”
- 正确：“你是客服。只回答产品问题。不知道就说不知道。禁止编造价格。输出不超过 100 字。”
- 技巧：给示例（Few-Shot）。在 Prompt 里给两个“用户问 -AI 答”的例子，比调半天参数都管用。
- 分隔符：用
###把指令和变量内容隔开，防止提示词注入。
抄作业时间：两套生产级配置
为了让大家直接能上手，我准备了两个典型场景的配置单。
场景 A：严谨的“法律条款提取器”
目标：从合同里提取甲方、乙方、金额，输出 JSON。
- Model:GPT-4o 或 同等逻辑能力强的模型。
- Temperature:0(必须锁死)。
- Top P:0.1。
- Max Tokens:500。
- Memory:关闭(每次提取都是独立任务)。
- Context:关闭(除非你要对照法律库)。
- Prompt:强制要求
Output JSON only，并在 System Prompt 里定义 JSON Schema。
场景 B：贴心的“电商客服”
目标：陪用户聊天，提供情绪价值，回答产品问题。
- Model:国产大模型（延迟低，中文语感好）。
- Temperature:0.3(稍微有点人情味，但别太疯)。
- Frequency Penalty:0.2 (防止它一直说“我理解你”)。
- Max Tokens:600。
- Memory:开启，保留最近 5-10 轮 (必须记得用户刚才说过的烦恼)。
- Context:开启，关联产品知识库 (确保价格和功能不说错)。
- Prompt:“语气亲切。遇到投诉先安抚。无法解决则引导转人工。”
最后三句忠告
- Prompt 优于参数。很多时候效果不好，不是 Temperature 没调对，是你 Prompt 没写清楚。先把话说明白，再调参数。
- 测试！测试！测试！别配完直接上线。拿几十个真实用户的问题去跑一遍，看看边界情况（比如用户骂人、用户发乱码）AI 会不会崩。
- 盯着日志。上线后盯着 Dify 的日志看。如果某个节点的 Token 消耗异常高，要么是 Memory 开太大了，要么是 Prompt 写得太啰嗦。
调参这事儿，有点像中医把脉，没有绝对的“标准答案”，只有“最适合你业务”的答案。希望这篇指南能帮你省下点 Token 钱，少挨点用户投诉。
祝大家 Flow 跑得顺，Bug 绕道走！🚀