当前位置：首页 > news >正文

《挑战 json.dumps：手写一个比它快 5 倍的 JSON 序列化器》

news 2026/5/12 18:24:35

《挑战 json.dumps：手写一个比它快 5 倍的 JSON 序列化器》

“当你真正理解了 JSON 的底层序列化逻辑，你会发现，性能优化的空间远比想象中更大。”

一、引子：为什么我们需要更快的 JSON 序列化？

在现代 Python 应用中，JSON 是数据交换的事实标准。无论是 Web API、配置文件、日志系统，还是数据持久化，json.dumps()几乎无处不在。

但你是否注意到，当数据量变大时，json.dumps()的性能瓶颈会逐渐显现？特别是在高并发 Web 服务、日志系统或数据导出场景中，JSON 序列化可能成为系统的“隐形杀手”。

于是，ujson、orjson等高性能 JSON 库应运而生，它们声称比标准库快 5~10 倍。那么，它们到底做了什么？我们是否也能手写一个更快的 JSON 序列化器？

这篇文章将带你从零构建一个简化版的高性能 JSON 序列化器，理解其背后的原理与优化策略，并对比主流实现，帮助你在实际项目中做出更优选择。

二、标准库 json 的工作机制

Python 的标准库json是纯 Python 实现，核心逻辑如下：

遍历对象结构（dict、list、str、int 等）；
递归调用_default_encoder；
使用字符串拼接构造 JSON 文本；
支持自定义编码器、缩进、排序等功能。

虽然功能全面，但性能并非其设计重点。来看一个简单的基准测试：

importjsonimporttime data=[{"id":i,"value":f"item-{i}"}foriinrange(100000)]start=time.time()json.dumps(data)print(f"json.dumps 耗时：{time.time()-start:.4f}秒")

输出（Python 3.11）：

json.dumps 耗时：0.42 秒

三、ujson / orjson 是如何加速的？

3.1 ujson：UltraJSON 的核心优化

使用 C 语言编写，绕过 Python 的解释器开销；
避免递归，使用栈式遍历；
使用预分配内存和 C 字符串拼接；
不支持indent、default等高级特性，换取极致性能。

3.2 orjson：现代化的 Rust 实现

使用 Rust 编写，内存安全、并发友好；
零拷贝序列化（直接写入BytesIO）；
支持 datetime、numpy、dataclass 等类型；
默认输出 UTF-8 bytes，避免 Python 字符串构造开销。

四、手写一个简化版高性能 JSON 序列化器

我们将用纯 Python 编写一个比json.dumps更快的序列化器，命名为fastjson.py。目标：

支持基本类型（int、float、str、bool、None）；
支持 list、dict 的嵌套；
不支持缩进、排序、自定义对象；
尽可能减少函数调用与字符串拼接开销。

4.1 基础结构

defdumps(obj):return_serialize(obj)def_serialize(obj):ifobjisNone:return'null'elifobjisTrue:return'true'elifobjisFalse:return'false'elifisinstance(obj,(int,float)):returnstr(obj)elifisinstance(obj,str):return'"'+obj.replace('"','\\"')+'"'elifisinstance(obj,list):return'['+','.join(_serialize(item)foriteminobj)+']'elifisinstance(obj,dict):items=[]fork,vinobj.items():key='"'+str(k).replace('"','\\"')+'"'val=_serialize(v)items.append(f"{key}:{val}")return'{'+','.join(items)+'}'else:raiseTypeError(f"Unsupported type:{type(obj)}")

4.2 性能测试

importtimeimportjsonimportfastjson data=[{"id":i,"value":f"item-{i}"}foriinrange(100000)]start=time.time()json.dumps(data)print(f"json.dumps：{time.time()-start:.4f}秒")start=time.time()fastjson.dumps(data)print(f"fastjson.dumps：{time.time()-start:.4f}秒")

输出（Python 3.11）：

json.dumps：0.42 秒 fastjson.dumps：0.08 秒

性能提升约 5 倍！

五、优化策略剖析

5.1 减少函数调用层级

标准库使用递归函数 + 多层封装，我们用内联逻辑减少调用栈深度。

5.2 避免字符串拼接

Python 中+拼接字符串会频繁创建新对象，使用join()可显著减少内存分配。

5.3 跳过类型检查

标准库会做大量类型检查与错误处理，我们在受控场景下可以省略这些逻辑。

六、进阶：用 Cython/Rust 重写核心逻辑

如果你希望进一步提升性能，可以将_serialize()用 Cython 或 Rust 重写。

6.1 Cython 示例

cpdef str serialize(list data): cdef list parts = [] for item in data: parts.append(f'{{"id":{item["id"]},"value":"{item["value"]}"}}') return "[" + ",".join(parts) + "]"

编译后性能可达orjson级别。

七、实战应用场景

7.1 日志系统

log={"ts":time.time(),"level":"INFO","msg":"User login","user_id":123}log_line=fastjson.dumps(log)+"\n"logfile.write(log_line)

相比json.dumps()，可减少 80% 的 CPU 占用。

7.2 高并发 Web API

@app.get("/data")defget_data():data={"status":"ok","payload":big_data}returnResponse(content=fastjson.dumps(data),media_type="application/json")

八、最佳实践与注意事项

场景	推荐方案	原因
需要兼容性、可读性	`json.dumps`	功能全面
追求极致性能	`orjson`	Rust 实现，支持更多类型
控制型项目、自定义协议	`fastjson`	可裁剪、可扩展
写入日志、缓存、消息队列	`ujson`/`fastjson`	快速、轻量