doris中的分区上卷
在 Doris 中，分区上卷（Roll-Up）是一种优化存储和查询性能的重要机制，其核心是通过合并细粒度分区（如日分区）为粗粒度分区（如月分区或年分区），减少分区数量并提升查询效率。
当基表数据经过聚合处理后，各分区的数据量可能会显著减少。在这种情况下，可以采用分区上卷策略，以降低物化视图的分区数量。
1. 分区上卷的原理
假设原始表按天分区：
CREATE TABLE sales ( event_day DATE, product_id INT, revenue DECIMAL(10, 2) ) PARTITION BY RANGE(event_day) ( PARTITION p20230101 VALUES [('2023-01-01'), ('2023-01-02')), PARTITION p20230102 VALUES [('2023-01-02'), ('2023-01-03')), ... );通过分区上卷，可将多个日分区合并为月分区：
ALTER TABLE sales ROLLUP (PARTITION p202301 TO p202301);2. 操作步骤
2.1 启用分区上卷
在表创建时定义上卷策略：
CREATE TABLE sales ( ... ) PARTITION BY RANGE(event_day) ROLLUP ( TO YEAR(event_day), -- 按年上卷 TO MONTH(event_day) -- 按月上卷 );2.2 手动触发上卷
ALTER TABLE sales ROLLUP PARTITION p20230101, p20230102 TO PARTITION p202301;3. 使用场景
- 存储优化：合并旧分区减少小文件数量，降低存储开销。
- 查询加速：查询月数据时直接访问月分区，避免扫描多个日分区。
- 自动化管理：结合调度工具定期执行上卷操作。
4. 注意事项
- 不可逆性：上卷后原分区数据不可恢复，需提前备份。
- 权限要求：需
ALTER权限执行上卷操作。 - 性能影响：上卷过程可能暂时占用系统资源，建议低峰期执行。
5. 示例代码
# 模拟按月自动上卷的调度逻辑 import schedule import doris_client def monthly_rollup(): last_month = "2023-12" # 合并上个月的所有日分区 doris_client.execute( f"ALTER TABLE sales ROLLUP PARTITION p{last_month}01 TO p{last_month}31 TO PARTITION p{last_month};" ) schedule.every().month.do(monthly_rollup)通过合理使用分区上卷，可显著提升 Doris 在大数据场景下的存储与查询效率。