python avro

要说清楚 Python 里的 Avro，可能得先放下“它是序列化框架”这个冰冷的定义，转而从日常场景聊起。

几年前我接手过一个数据管道项目，每天要处理几千万条用户行为日志。起初大家用 JSON，省事归省事，但到了后期，解析速度慢、schema 变更时排查字段都得靠肉眼，简直是一种折磨。后来换成 Avro，才觉得找到了合适的工具。

它是什么？

Avro 本质上是一套序列化格式，和 JSON 一样能够把数据结构化成字节流，但核心区别在于：它强制要求数据附带 schema（模式定义）。可以理解成，去仓库取货时，JSON 只是给你一堆箱子，每个箱子上可能贴着不规范的标签。而 Avro 是给你一张详细的货物清单，连每个箱子尺寸、重量、堆放顺序都提前定好了。读取数据时，你必须先拿到这份清单，才能准确拆包。

这种设计让 Avro 天然带有一个优势：数据是“自描述”的。注意，这不意味着每条数据都重复携带 schema——而是在文件头部或者序列化开头写一次 schema，后面的所有记录都按这个结构压缩存储。所以它比 JSON 紧凑得多，也比 Protocol Buffers 更灵活动态。

它能做什么？

在实际工作中，Avro 最有价值的地方有三块。

第一是数据生态的基石。在 Hadoop、Spark、Kafka 这些流式或批量处理框架里，Avro 几乎是标配。因为它的 schema 可以嵌入到每个数据分片里，让不同语言（Java、Python、Go）的服务都能无缝解析。我们那个日志系统，上游 Java 服务写 Avro 文件，下游 Python 脚本直接读，不用管大小端、不用对齐字段顺序。

第二是 schema 演化。这点特别粗糙业务变化时。比如今天用户模型只有“name”和“age”，明天突然要加一个“email”字段。Avro 支持向后的兼容模式——旧程序读新数据时，发现不认识“email”，就默默忽略；新程序读旧数据时，发现缺了“email”，自动填上 null。这对比 JSON 那种“要么全有要么全无”的死板，简直像多了一道安全带。

第三是压缩效率。Avro 内置对很多编码的支持，比如 ZigZag 处理小整数、字典压缩处理重复字符串。举个例子，同样一份包含 10 万条“城市-温度”记录，JSON 文件可能 1.2MB，Avro 用 deflate 压缩后可以到 300KB 左右，而且解析速度还快一个数量级。

怎么使用？

Python 里官方库是fastavro（推荐）和avro（旧版）。安装后用起来挺直白。

先定义 schema 文件（一般是 .avsc 格式），比如：

{"type":"record","name":"User","fields":[{"name":"name","type":"string"},{"name":"age","type":"int"},{"name":"email","type":["null","string"],"default":null}]}

写数据的代码大概是：

importfastavro schema={"type":"record","name":"User","fields":[{"name":"name","type":"string"},{"name":"age","type":"int"}]}records=[{"name":"Alice","age":30},{"name":"Bob","age":25}]withopen("users.avro","wb")asf:fastavro.writer(f,schema,records)

读数据更简洁，reader对象会解析 schema 和记录：

withopen("users.avro","rb")asf:forrecordinfastavro.reader(f):print(record["name"],record["age"])

如果你用 Kafka，Python 的confluent_kafka库也深度集成了 Avro。设置key.serializer和value.serializer为AvroSerializer后，生产者直接丢字典就行，序列化、schema 注册都由底层自动完成。

最佳实践

踩过几次坑之后，有些心得想分享。

首先，schema 定义要尽量“吝啬”。default值务必要给上，尤其是可空字段。否则演化时，旧数据读新 schema 直接崩掉。我们曾有一个字段没设默认值，结果一天的数据全毁在读取阶段，从那以后每个字段都强制检查默认值。

其次，用fastavro而不是官方的avro库。官方库是用纯 Python 写的旧实现，速度差好几倍，而fastavro是 C 扩展，同样的数据量，它处理时间可能少 80%。除非你在写旧系统，否则直接上fastavro。

第三，关于 schema 注册表。如果你的系统里 schema 频繁变更，考虑用 Schema Registry（比如 Confluent 的）。不注册的话，每个文件都拷贝一份 schema，浪费空间；注册后，文件头只存一个 schema ID，按 ID 取 schema。但要注意：注册表不能轻易删除历史 schema，因为你可能还有未读取的老数据。

最后，字段顺序要小心。Avro 的 schema 演化允许加字段、删字段，但不允许重命名或交换顺序。所以一开始就规划好常用的字段放前面，把可能淘汰的字段放到 schema 末尾，将来删掉就别留后患。

和同类技术对比

谈 Avro 总是会提到 Protocol Buffers（protobuf）和 Apache Thrift。

• protobuf最大的特点是强类型、代码生成友好。Java/C++ 项目里，protobuf 编译后直接生成类，IDE 自动补全，开发效率极高。但代价是 schema 必须预编译，动态语言的灵活度就打了折扣。Python 里用 protobuf 总觉得像穿小号的衣服——你得先生成_pb2.py文件，改一行字段就要重新编译，很烦人。而 Avro 的 schema 是运行时读取 JSON 的，改 schema 就像改配置文件一样方便，特别适合数据管道这种灵活场景。

• Thrift更偏向 RPC（远程调用），它把通信协议和序列化捆绑在一起。如果只是存数据，用 Thrift 有点杀鸡用牛刀。Avro 恰好专注在“序列化+文件格式”，与传输层解耦，所以它跟 Kafka、HDFS 配合得格外自然。

• JSON最大的优势是可视化、调试简单。调试时直接 cat 文件就能看内容，Avro 得用avro-tools或fastavro.schema_to_json手动转。但一旦数据量超过上万条，JSON 的冗余和解析速度劣势就非常明显。我们当时 50GB 的 JSON 日志，用 gzip 压缩后还占 8GB，换成 Avro 压缩后不到 2GB，而且解析时间从 6 小时骤降到 40 分钟。

所以选型时有个经验：如果数据的生产和消费主要是不同语言的项目，或者需要频繁变更 schema，又或者数据量比较大，Avro 很稳当。如果是对性能要求极高、schema 几乎不变的微服务调用，protobuf 更合适。而只是临时存几份小规模配置文件，JSON 完全够用，不必硬上 Avro。