彻底解决大模型 JSON 报错：提示词 + 硬约束 + 兜底的全链路修复方案

• 附带冗余话术：比如前后夹带“好的，这是你要的结果”、“以下是符合要求的JSON”。
• Markdown 标签包裹：带有```json标签，导致无法直接解析。
• 非法格式：用单引号替代双引号、转义字符使用错误等。
• 语法漏洞：尾部缺失反括号、字段后多添逗号等。

显然，这种不合规的 JSON 输出无法正常被json.load()正确解析，直接导致业务代码报错。

为了解决这个问题，我们需要在调用大模型的前、中、后三个阶段，分别采取一些处理措施（事前引导、事中约束、事后补救），全方位确保大模型能够输出稳定、纯净的 JSON。

下面我们以『判断用户输入的内容，是否违规？违规类型是什么？违规词是什么？』这个需求为例，详细介绍下具体处理手段。

一、事前引导：提示词优化

提示词优化是最基础、最通用的解决方案，核心是通过明确严谨的指令，引导大模型输出符合要求的 JSON。

这种方式属于『软约束』，依赖模型对指令的理解和执行能力，无法从源头强制合规，但胜在简单易用、适配所有大模型。

常见的优化方式为：

1. 明确字段要求：详细说明每个字段的输出类型、取值范围，而非简单要求输出 JSON；
2. 提供 Few-Shot 示例：借助大模型的上下文学习能力，给出输入输出配对示例，让模型直观掌握格式；
3. 添加校验指令：要求大模型输出前自动校验 JSON 语法及内容合规性，确保无冗余、无错误。

💡 提示词模板示例如下：

二、事中约束：编码管控

提示词优化是一种『软约束』手段，存在局限性，即使指令再明确，大模型仍然可能因为幻觉、随机性出现格式偏差。为此，主流大模型厂商推出了原生『硬约束』能力，可在模型生成结果过程中强制输出合规 JSON。

其核心原理简单来说：系统会将 JSON 规则转换为状态机，在模型生成每个 Token 前过滤非法内容，仅允许合法Token 参与概率计算，从底层确保输出完全符合 JSON 规范和字段要求（例如：生成冒号后，下一个 Token 绝不可能是逗号）。

⚠️ 注意：并非所有大模型都支持这类硬约束功能，多数轻量模型、小众模型暂不支持，仅适配OpenAI系列、Anthropic Claude 等主流模型。

1. JSON Mode：基础格式硬约束

JSON Mode是基础硬约束功能，通过 API 参数约束模型输出编码逻辑，强制生成符合 JSON 语法规范的文本，从源头杜绝冗余话术、代码块包裹等问题。

核心操作：调用接口时新增response_format={"type": "json_object"}参数，且提示词中需明确提及“JSON”（否则模型报错）。

⚠️ 注意：JSON Mode 仅保证输出格式为合规 JSON，不支持在 response_format 中输入具体 schema，无法锁定字段规则，仍可能出现字段遗漏，key 名写错问题；

📝 代码示例如下（以 OpenAI SDK 为例）：

2. Structured Outputs：格式+字段双维度强制

JSON Mode 仅能保证输出的格式为 JSON，但并不能保证字段是否准确、是否完整等。

为了解决这个问题，诞生了Structured Outputs（结构化输出）功能，可通过定义完整的 JSON Schema，强制模型输出指定字段及类型，彻底杜绝 key 名错误和字段遗漏问题。

核心操作：调用接口时在 response_format 中传入具体 JSON Schema，实现格式与字段的双重硬约束，确保模型输出完全匹配预设的字段规则，合规率 100%，这也是官方主推的结构化输出方案。

📝 代码示例如下（以 OpenAI SDK 为例）：