【CarbonData】数据加载（Data Loading）过程的内部工作流程是怎样的？涉及哪些关键步骤？

CarbonData 数据加载（Data Loading）过程的内部工作流程深度解析

问题引入

用户问题原文：数据加载（Data Loading）过程的内部工作流程是怎样的？涉及哪些关键步骤？

在超大规模物联网（IoT）设备指标监控场景中，我们每天需要处理来自数百万台设备的数十亿条时序指标数据。这些数据以 CSV 或 JSON 格式从 Kafka 流入，要求在分钟级内完成清洗、转换并加载到分析引擎中，以支持实时告警和历史趋势分析。当我们将底层存储从 Parquet 迁移到 Apache CarbonData 2.3.x 后，初期遇到了数据加载性能不稳定、偶尔出现 OOM（Out of Memory）以及全局字典膨胀等问题。深入理解 CarbonData 的数据加载内部工作流程，成为解决这些问题的关键。

本文将系统性地拆解 CarbonData 2.3.x 在 Spark 3.1.x 环境下的数据加载全流程，从客户端 SQL 提交到最终数据落盘，涵盖其核心设计思想、关键组件交互、内存管理策略以及与全局字典、排序、索引构建等特性的协同机制。通过本文，你将能精准定位加载瓶颈，并进行针对性调优。

原理解析：从 Spark Driver 到磁盘文件的全链路

CarbonData 的数据加载并非一个简单的“写文件”操作，而是一个高度工程化的、多阶段协同的复杂过程。它巧妙地利用了 Spark 的分布式计算能力