停止歇斯底里的prompt调教：如何靠 Tool Calling 让 LLM 乖乖输出 JSON？
停止歇斯底里的prompt调教：如何靠 Tool Calling 让 LLM 乖乖输出 JSON？
在开发 AI 应用（如答题插件、数据爬虫或自动化 Agent）时，开发者最头疼的问题莫过于：如何让 LLM 100% 稳定输出格式完美的 JSON？
很多人习惯在 System Prompt 里声嘶力竭地喊：“请只输出 JSON！”、“不要废话！”。但现实往往是：模型偶尔会多送你一对引号，或者在 JSON 前后加上“好的，这是你要的结果”。
在 LangChain v1 和现代模型 API 时代，我们有了更优雅、更工业级的解法：Function Calling（工具调用）。
一、 角色错位：为什么 Prompt 约束不现实？
要理解为什么 Prompt 不稳，先要看模型的“脑回路”：
Prompt 模式 = 创作模式：
当你要求 JSON 时，模型认为自己在写一篇“关于 JSON 的文章”。作为语言模型，它的本能是让对话通顺。即便在系统提示词里注入规则，它依然有概率触发“多嘴”的本能，生成 Markdown 标签或解释性文字。
Function Calling = 填表模式：
当你定义了一个 Tool（工具），如果llm想要对该工具进行调用,就要不断地捕捉参数,直到满足工具的输入要求,然后以及其规范的格式向框架发送调用json,这时候我们捕捉到到的json就是完全符合规范的,因为模型在这个过程中没有任何发挥的空间,它只能按照工具调用的规则来生成输出。
二、 底层黑科技：严格模式 (Strict Mode)
为什么 Function Calling 能达到近乎 100% 的稳定性？这不仅仅是提示词的功劳，而是推理引擎层面的干预。
在主流模型（如 GPT-4o）中开启 strict: true 后：
Token 采样约束：引擎会实时校验生成的每一个字符。如果 Schema 要求下一个字段是数字，模型产生字母的概率会被直接降为 0。
强制闭合：它从数学概率上锁死了括号必须匹配，字段名必须完全一致。
三、 实战：在 LangChain v1 中实现“拦截”
在 v1 版本中，我们不再需要手动正则提取，而是通过“输出解析器”或“结构化输出”接口。
核心实现：with_structured_output
这是目前最稳的打法。它将“定义格式”与“模型调用”合二为一，底层自动处理了所有拦截逻辑：
Python
from langchain_openai import ChatOpenAI
from pydantic import BaseModel, Field
1. 定义你的“模具”（Schema）
class QuizResult(BaseModel):
question_id: int
answer: str = Field(description=“正确选项的字母”)
explanation: str
2. 绑定模型并开启结构化输出
llm = ChatOpenAI(model=“gpt-4o”)
structured_llm = llm.with_structured_output(QuizResult)
3. 直接获取对象（JSON 已经躲在对象属性里了）
result = structured_llm.invoke(“分析题目：1+1=？”)
print(result.answer) # 直接拿到 ‘2’，没有废话
四、 深度问答：关于 Function Calling 的误区
- 我并没有真实的工具，为什么要用 Tool Calling？
- 这是一个**“挂羊头卖狗肉”的策略。这里的“工具”只是一个格式模具**。我们并不需要真的去运行发邮件代码，我们只是借用工具调用的强制约束力来获取纯净的数据。
- 为什么我之前用 Prompt + 正则提取也行？
- 那是因为你的场景复杂度较低，且 Web 端 AI 自动过滤了部分杂质。在处理高并发、复杂嵌套或需要极高鲁棒性的生产环境时，正则匹配（Regex）就像在沙堆里找金子，而 Function Calling 则是直接给你金条。
- JSON 到底去哪了？
- 在原生 API 中：它不在 message.content 里（那是空的），而是在 message.tool_calls[0].function.arguments 里。
在 LangChain v1 中：它直接作为 函数返回值 出现；如果你在用 LangGraph，它存在于 State 消息流 的末尾。
五、 总结
如果你还在为 JSON.parse() 报错而烦恼，请记住：Prompt 是用来教 AI 如何思考的，而 Function Calling 才是用来规定 AI 如何出货的。
在 v1 版本中，彻底抛弃在提示词里写格式要求的旧习惯，拥抱 Schema 约束，让 AI 开发从“碰运气”回归到“工程化”。