【ORC】 ORC 的并发读取（Concurrent Reads）是如何通过 Stripe 级别的并行实现的？

ORC 的并发读取（Concurrent Reads）是如何通过 Stripe 级别的并行实现的？

发布时间：2026年4月10日

问题引入：从万亿行 IoT 设备上报数据的查询瓶颈说起

在构建一个支撑千万级 IoT 设备的实时监控平台时，我们遇到了一个严峻的挑战。设备每秒上报海量指标数据（/iot/device-metrics.orc），单个 ORC 文件轻松达到 TB 级别，包含数万个 Stripe。当业务方需要对过去一周的数据进行全量扫描以生成设备健康报告时，即使使用了 100 个 Spark Executor，作业的运行时间依然长达数小时。

经过深入分析 Spark UI 和 ORC 的源码，我们发现问题的核心在于ORC Reader 的并发模型。默认情况下，一个RecordReader实例是单线程顺序读取Stripe 的。这意味着，即使分配了多个 CPU 核心给一个 Task，它也只能串行地处理文件中的 Stripe，无法充分利用计算资源。真正的并发发生在 Spark 的 Task 调度层面——每个 Task 处理文件的不同 Split（通常是不同的文件或大文件的不同区域），但对于单个大文件内部的 Stripe，并没有被并行化。

这次性能瓶颈迫使我们深入探究：ORC 本身是否提供了更细粒度的并发读取能力？如何才能让单个 Task 内部也能并行处理一个大文件的多个 Stripe，从而榨干每一