数据倾斜问题 - 深度解析与代码实现
一、什么是数据倾斜?
数据倾斜是指在分布式系统中,数据分布不均匀,导致某些节点负载过重,而其他节点空闲的现象。
1. 在采集项目中的具体表现:
- HBase Region热点
- 某个RegionServer CPU/IO飙升到100%
- 其他RegionServer负载低于20%
- 系统整体吞吐量无法提升
2. 原因分析
电信话单数据特点:
- 热门手机号:每天数千条通话记录
- 冷门手机号:几天才一条记录
- 如果按手机号顺序存储 → 前几个Region承载80%的数据
二、解决方案-- 四层防护策略
第一层: RowKey散列设计 (最关键)
- 在RowKey第1字节加入分区号: cdrId % 100
- 将同一手机号的数据分散到100个不同Region
- 代码实现: GeneralHBaseKeyBuilder.buildKey()方法
第二层: 预分区 (Pre-Splitting)
- 建表时预先创建100个空Region
- 避免运行时自动分裂带来的性能抖动
- 分区键设计: byte[]{0}, byte[]{1}, ..., byte[]{99}
第三层: 动态Region分配
- 使用RegionPartitionUtil随机分配Region
- 每个Writer任务随机选择一个Region写入
- 进一步打散热点
第四层: 二级索引优化查询
- 建立索引表: RowKey = phone + timestamp
- 指向主表的散列RowKey
- 查询效率从全表扫描降至毫秒级
同时建立了监控体系:
- 每5分钟检测Region负载均衡度
- 倾斜度超过50%自动告警
- Grafana看板实时展示各RegionServer负载"
三、项目中的数据倾斜解决方案示例代码
方案1: RowKey随机散列 (核心方案)
代码位置: GeneralHBaseKeyBuilder.java
import org.apache.hadoop.hbase.util.Bytes; /** * HBase RowKey生成器 - 解决数据倾斜问题 * * RowKey结构: * ┌─────────────┬──────────────┬──────────────┬──────────────┬──────────┐ * │分区序号(1B) │ 索引主键(NB) │RAW_FILE_KEY1 │RAW_FILE_KEY2 │ CDR_ID │ * │ │ │ (4B) │ (4B) │ (4B) │ * └─────────────┴──────────────┴──────────────┴──────────────┴──────────┘ * * 关键设计: * 1. 分区序号 = cdrId % partitionNum (取模散列) * 2. 将同一用户的数据分散到不同Region * 3. 避免单调递增导致的热点问题 */ public class GeneralHBaseKeyBuilder extends AbsHBaseKeyBuilder { // 主表键字节长度: 1(分区) + 4(file1) + 4(file2) + 4(cdr_id) = 13字节 private static final int MAIN_TABLE_KEY_BYTES_LEN = (1 + 4 + 4 + 4); /** * 构建RowKey - 解决数据倾斜的核心算法 * * @param tabIndex 表序号(0-128) * @param rawFileKey1 原始文件ID1 (城市BSCID) * @param rawFileKey2 原始文件ID2 * @param cdrId 记录ID (用于散列) * @param partitionNum 分区数量(0-128个) * @param indexKeys 索引主键数组 (如:手机号、时间戳等) * @return 生成的RowKey字节数组 */ @Override public byte[] buildKey(byte tabIndex, int rawFileKey1, int rawFileKey2, int cdrId, byte partitionNum, byte[][] indexKeys) { // 1. 计算总长度 int keyLength = MAIN_TABLE_KEY_BYTES_LEN; if (indexKeys != null) { for (byte[] keyBytes : indexKeys) { keyLength += keyBytes.length; } } byte[] key = new byte[keyLength]; // 2. 【关键】第1字节: 分区序号 (通过取模实现散列) // cdrId % partitionNum 确保数据均匀分布到N个分区 int offset = Bytes.putByte(key, 0, (byte)(cdrId % partitionNum)); // 3. 索引主键 (业务字段,如手机号、时间戳) if (indexKeys != null) { for (byte[] keyBytes : indexKeys) { offset = Bytes.putBytes(key, offset, keyBytes, 0, keyBytes.length); } } // 4. RAW FILE KEY1 (4字节) - 城市BSC标识 offset = Bytes.putInt(key, offset, rawFileKey1);