大模型中的格式修复、json_repair示例

1、Prompt 阶段：要求模型返回 JSON
2、生成阶段：LLM 输出文本（可能带 JSON 错误）
3、格式修复
提取 JSON 片段
json_repair 修复格式（补全、规范化）
再用 json.loads() 解析
4、（可选）自我评估 / 校验：
解析后，再让模型检查内容正确性（这才是自我评估）

总结：
所以格式修复，是在生成后、评估前的一个环节，而且可能多次重复生成、修复的动作。

json_repair

json_repair和repair_json的区别?

json_repair是包名。
repair_json()、loads()是json_repair包里的方法。

一般这么用，代码：

importjson_repairfromjson_repairimportrepair_json json_repair.repair_json(字符串)# 这么写是不是感觉怪怪的repair_json(字符串)# 所以一般这么写json_repair.loads(字符串)# 这个就没问题了，都能看懂

repair_json()方法

repair_json()方法-保留中文

中文默认会被转义，参数中加ensure_ascii=False表示不转义(即保留中文)。

默认会转义中文：

chinese_json="{'name': '张三', 'city': '北京'}"print(repair_json(chinese_json))# 输出: {"name": "\u5f20\u4e09", "city": "\u5317\u4eac"}

添加ensure_ascii=False，不进行转义，即保留中文(推荐用这种)，代码：

chinese_json="{'name': '张三', 'city': '北京'}"print(repair_json(chinese_json,ensure_ascii=False))# 输出: {"name": "张三", "city": "北京"}

repair_json()方法-性能优化

添加skip_json_loads=True参数跳过验证，可以提升性能。

load()方法

load()方法将字符串解析为对象，可以直接对象化操作，例如obj.key等。

json_repair命令

json_repair不但是个包，还是个命令。

修复文件-不会改该文件内容，会打印出来： json_repair file.json 修复文件-输出到新文件： json_repair file.json-ofile_right.json 修复文件-在原文件上修改： json_repair file.json-i

生产最优实践

json_repair是容错性很强(兜底能力极强)的工具，它会尝试尽量解析出来，哪怕有损解析。

生产中通常这么做：
1、json.loads()先做标准解析
2、json_repair.loads()再做容错解析
3、语义校验
(1)开启日志校验判断长度是否损失过多
(2)获取关键字段，看是否丢失
4、重试逻辑
将原json+第3步中的错误提示(如长度损失过多，或缺少content字段)，拼接后让大模型再生成，可以加重试次数限制。

错误的json-示例(拿来做测试)

这个是个格式有错误的json：

{"name":'张三',"age":25,"skills":["Python","Java","Go",],// 这是一个多余的逗号"active":True,"bio":"这是一个全栈开发者"}

报错

报错 json_repair file.json Error: ‘gbk’ codec can’t decode byte 0x80 in position 108: illegal multibyte sequence

一般是在pycharm等ide中，默认编码是utf-8，就会出现这个错误。

解决方案：
用txt打开file.json，另存为，编码选ansi，然后json_repair这个新文件即可。