pd.read_parquet 详细使用说明
pd.read_parquet 详细使用说明
pd.read_parquet是 pandas 中用于读取 Parquet 格式文件的函数。Parquet 是一种列式存储格式，在大数据场景下性能优异。下面详细介绍其常用参数，重点说明过滤条件的使用。
基本语法
importpandasaspd df=pd.read_parquet(path,# 文件路径engine='auto',# 引擎选择columns=None,# 指定读取的列filters=None,# 过滤条件 ⭐重点storage_options=None,# 存储选项**kwargs# 其他传递给引擎的参数)核心参数详解
| 参数 | 类型 | 说明 |
|---|---|---|
path | str/Path | 文件路径，支持本地路径或URL（http、ftp、s3、gs等） |
engine | str | 解析引擎：‘auto’（默认）、‘pyarrow’、‘fastparquet’。推荐使用’pyarrow’，性能更好且支持行级过滤 |
columns | list | 指定要读取的列名列表，只加载这些列，可大幅减少内存占用 |
filters | List[Tuple] 或 List[List[Tuple]] | 过滤条件，在读取时进行数据过滤 |
filters 过滤条件详解
语法格式
# 基本格式：每个条件是 (列名, 操作符, 值)filters=[(column,op,value),...]# 复杂格式：支持 AND/OR 组合filters=[[(col1,op1,val1),(col2,op2,val2)],...]# 内层 AND，外层 OR支持的操作符
| 操作符 | 说明 | 示例 |
|---|---|---|
==,= | 等于 | ('date', '==', '2024-01-01') |
> | 大于 | ('price', '>', 100) |
>= | 大于等于 | ('volume', '>=', 10000) |
< | 小于 | ('change', '<', 0) |
<= | 小于等于 | ('pe', '<=', 30) |
!= | 不等于 | ('industry', '!=', '金融') |
in | 包含于 | ('ts_code', 'in', ['000001', '000002']) |
not in | 不包含于 | ('status', 'not in', ['ST', '*ST']) |
过滤逻辑规则
过滤条件的逻辑遵循析取范式（DNF）：
- 内层列表：元组之间是AND（与）关系
- 外层列表：各组之间是OR（或）关系
[[条件A, 条件B], [条件C, 条件D]] 等价于：(条件A AND 条件B) OR (条件C AND 条件D)过滤条件示例
示例1：单个条件
# 读取价格大于100的行df=pd.read_parquet('data.parquet',filters=[('price','>',100)])示例2：多个条件（AND关系）
# 读取价格大于100且成交量大于10000的行filters=[('price','>',100),('volume','>',10000)]df=pd.read_parquet('data.parquet',filters=filters)示例3：多个条件组（OR关系）
# 读取 金融行业 或 科技行业 的数据filters=[[('industry','==','金融')],[('industry','==','科技')]]df=pd.read_parquet('data.parquet',filters=filters)示例4：复合条件
# 读取 (金融行业且PE<15) 或 (科技行业且PE>30) 的数据filters=[[('industry','==','金融'),('pe','<',15)],[('industry','==','科技'),('pe','>',30)]]df=pd.read_parquet('data.parquet',filters=filters)示例5：日期范围过滤
# 读取2024年1月的数据filters=[('trade_date','>=','2024-01-01'),('trade_date','<=','2024-01-31')]df=pd.read_parquet('data.parquet',filters=filters)示例6：使用in操作符
# 读取指定股票列表的数据stock_list=['000001.SZ','000002.SZ','600000.SH']filters=[('ts_code','in',stock_list)]df=pd.read_parquet('data.parquet',filters=filters)重要注意事项
1. 引擎影响过滤效果
使用pyarrow引擎时：支持行级过滤，真正只加载符合条件的行数据，可显著减少内存和IO
使用fastparquet引擎时：仅在分区级别过滤，可能加载部分不符合条件的行
# 推荐：显式指定 pyarrow 引擎以获得行级过滤df=pd.read_parquet('data.parquet',engine='pyarrow',filters=[('price','>',100)])2. 过滤不是万能的
filters参数的主要作用是减少读取的数据量，但不能完全替代数据加载后的精确过滤。建议：
- 先用
filters粗筛，减少数据量 - 再用 DataFrame 的查询方法（如
.query()或布尔索引）进行精确过滤
# 推荐的两阶段过滤df=pd.read_parquet('data.parquet',filters=[('date','>=','2024-01-01')])result=df[df['price']>100]# 二次精确过滤3. 列名和数据类型
- 列名必须与文件中的列名完全匹配（区分大小写）
- 值的数据类型应与列的数据类型一致
# 数值列用数值，字符串列用字符串filters=[('price','>',100.0),('ts_code','==','000001.SZ')]其他实用参数
columns 参数
只读取指定列，大幅减少内存使用：
# 只读取需要的列df=pd.read_parquet('data.parquet',columns=['ts_code','trade_date','close','volume'])组合使用 columns 和 filters
# 先过滤行，再选择列，效率最高df=pd.read_parquet('data.parquet',columns=['ts_code','close','volume'],# 只读需要的列filters=[('trade_date','>=','2024-01-01'),# 行过滤('trade_date','<=','2024-12-31')])