python3中pyarrow库介绍和基础使用

一、什么是 Apache Arrow 和 PyArrow

PyArrow是Apache Arrow在 Python 中的官方实现库。

Apache Arrow是一个高性能列式内存数据格式（columnar in-memory format），主要用于：

• 高速数据分析
• 跨语言数据交换
• 大数据系统之间共享数据

支持语言包括：

• Python
• C++
• Java
• Rust
• Go
• R

因此 Arrow 常作为数据系统之间的“通用内存格式”。

很多数据框架都依赖 Arrow，例如：

• pandas
• Apache Spark
• DuckDB
• Polars
• Dask

二、为什么 PyArrow 很重要

传统 Python 数据处理：

CSV → pandas → numpy

存在问题：

• 内存拷贝多
• 跨语言困难
• 数据序列化慢

Arrow 的特点：

所以在AI、大数据、数据湖中非常常见。

三、安装 PyArrow

pipinstallpyarrow

或者

condainstallpyarrow

验证：

importpyarrowaspaprint(pa.__version__)

四、PyArrow 核心数据结构

PyArrow 主要有三个核心结构：

Array Table RecordBatch

关系：

Array -> 一列 RecordBatch -> 一批行 Table -> 多个batch组合

五、PyArrow Array（最基础）

创建 Arrow 数组：

importpyarrowaspa arr=pa.array([1,2,3,4])print(arr)

输出：

[ 1, 2, 3, 4 ]

指定类型：

arr=pa.array([1,2,3],type=pa.int64())

常见类型：

pa.int32() pa.int64() pa.float32() pa.float64() pa.string() pa.bool_() pa.timestamp()

六、PyArrow Table（最常用）

类似pandas DataFrame

创建 Table

importpyarrowaspa data={"id":[1,2,3],"name":["Alice","Bob","Charlie"]}table=pa.table(data)print(table)

输出：

pyarrow.Table id: int64 name: string

查看 schema

print(table.schema)

结果：

id: int64 name: string

访问列

table.column("id")

七、与 pandas 的互转

这是最常见用途。

pandas → arrow

importpandasaspdimportpyarrowaspa df=pd.DataFrame({"a":[1,2,3],"b":[4,5,6]})table=pa.Table.from_pandas(df)

arrow → pandas

df=table.to_pandas()

优势：

• 零拷贝
• 更省内存

八、读写 Parquet 文件

Arrow 的重要能力之一是Parquet 支持。

什么是 Apache Parquet

Parquet 是一种：

• 列式存储
• 压缩率高
• 适合数据分析

写 Parquet

importpyarrow.parquetaspq pq.write_table(table,"data.parquet")

读 Parquet

table=pq.read_table("data.parquet")

转换为 pandas：

df=pq.read_table("data.parquet").to_pandas()

九、Feather 格式

另一个 Arrow 格式：

Apache Feather

特点：

• 极快
• 用于 Python / R 交换数据

写入：

importpyarrow.featherasfeather feather.write_feather(df,"data.feather")

读取：

df=feather.read_feather("data.feather")

十、RecordBatch

RecordBatch = 一组行

适合：

• 流式处理
• IPC
• 批量计算

创建：

batch=pa.record_batch([pa.array([1,2,3]),pa.array(["a","b","c"])],names=["id","name"])

十一、内存映射（超高性能）

Arrow 支持memory map。

withpa.memory_map("data.arrow","r")assource:reader=pa.ipc.open_file(source)table=reader.read_all()

优点：

• 不加载整个文件
• 直接访问内存

十二、典型应用场景

PyArrow 常见用途：

1 数据湖

例如：

S3 ├── data1.parquet ├── data2.parquet

查询：

• Spark
• DuckDB
• Pandas

2 AI / 机器学习

HuggingFace：

• Hugging Face Datasets

底层就是 Arrow。

3 大数据交换

例如：

Python → Spark → Java

用 Arrow 共享内存。

4 高性能数据分析

配合：

• Polars
• DuckDB

速度远快于 pandas。

十三、一个完整示例

importpandasaspdimportpyarrowaspaimportpyarrow.parquetaspq# 创建 pandasdf=pd.DataFrame({"id":[1,2,3],"score":[90,85,88]})# pandas -> arrowtable=pa.Table.from_pandas(df)# 写 parquetpq.write_table(table,"score.parquet")# 读取 parquettable2=pq.read_table("score.parquet")# arrow -> pandasdf2=table2.to_pandas()print(df2)

十四、PyArrow 的生态位置（非常重要）

现代数据栈：

Spark │ DuckDB ── Arrow ── Pandas │ Polars │ HuggingFace

Arrow 是中间层标准格式。

十五、一句话总结

PyArrow = Python 访问 Apache Arrow 的接口

主要作用：

1️⃣ 高性能列式数据结构
2️⃣ Parquet / Feather 文件读写
3️⃣ Pandas 加速
4️⃣ 跨语言数据共享