【CarbonData】CarbonData 的序列化和反序列化框架是如何设计的？

CarbonData 序列化框架深度剖析：从字典编码到向量化读取的全链路揭秘

用户问题原文：“CarbonData 的序列化和反序列化框架是如何设计的？”

解析范围：本文将基于Apache CarbonData 2.3.x，深入其core模块的底层，系统性地解析其为实现极致性能而设计的多层次序列化/反序列化（SerDe）框架。我们将聚焦于全局字典编码（Global Dictionary Encoding）、列式存储格式（V1/V2）、向量化读取器（Vectorized Reader）三大核心组件，并以一个电商用户画像构建场景为例，揭示这些机制如何协同工作，将海量用户行为数据的聚合查询性能提升数十倍。

在构建一个实时电商用户画像系统时，我们面临着一个典型的数据挑战：用户表包含数亿用户，每个用户有数百个标签（如gender,age_group,city_tier,preferred_category），这些标签大多是高基数的字符串。业务方需要频繁执行类似“统计一线城市、25-35岁女性用户中，偏好‘美妆’类目的用户数”这样的多维聚合查询。

如果直接存储原始字符串，不仅会