Kafka topic 中的 partition 数据倾斜问题
在Kafka中，如果一个Topic有多个Partition，但这些 Partition 中的消息数量或流量分布不均衡，就会出现数据倾斜（Data Skew）的问题。
✅ 什么是数据倾斜？
数据倾斜指的是：
- 某些 Partition 接收到大量消息，而其他 Partition 接收很少甚至没有；
- 导致部分 Kafka Broker 压力过大；
- 消费端负载不均，有的 Consumer 处理不过来，有的却很空闲；
- 严重时会造成消费延迟、系统资源浪费甚至服务不稳定。
❓ 为什么会出现数据倾斜？
- 生产者分区策略问题：
- 默认使用key hash 分区器，如果 key 分布不均，hash 后也会不均；
- 或者显式指定了某些 Partition，使得只有少数 Partition 被使用。
- 没有设置 key：
- Kafka 会使用轮询（Round-Robin）策略分发；
- 如果某些 Producer 实现有问题或批次不均，也可能造成不均衡。
- 动态 topic 扩容不合理：
- 增加 Partition 后老的消息还在旧的几个 Partition 中积压。
📉 数据倾斜带来的问题
- Broker 负载不均衡；
- 消费组中的 Consumer 无法均衡分配 Partition；
- 消息处理延迟拉大；
- 系统资源浪费，甚至可能引起消息堆积、告警、服务不可用。
❗Kafka 遇到数据倾斜时不会自动触发重平衡，因为：
Kafka 的重平衡（Rebalance）机制，是**针对消费组（Consumer Group）**的，不是针对生产端的 Partition 数据分布。
🔄 Kafka 的重平衡是什么？
当满足以下条件时，Kafka 的Consumer Group会触发重平衡：
- 有新的消费者加入或离开消费组；
- 某个消费者崩溃或断连；
- 订阅的 Topic 改变；
- Kafka Broker 宕机或恢复。
⚠️重平衡只是重新分配 Partition 给消费者，不会改变 Partition 中的数据分布。
🤔 数据倾斜触发不了重平衡的原因
Kafka 本身并不知道“数据是否分布均匀”或“某个 Partition 太热”——它只是把数据按照 Producer 的分区逻辑写入特定 Partition。
即使某个 Partition 压力特别大，Kafka 也不会主动调整数据写入的 Partition，也不会因为数据倾斜自动调整 Consumer 分配（除非有 Consumer 崩溃等情况）。
✅ 那么应该怎么处理数据倾斜？
Kafka不会自动解决，你需要：
- 优化生产者分区策略，确保 key 均匀分布或用 Round-Robin；
- 监控各 Partition 的消息量与延迟，定位热 Partition；
- 扩展 Topic 的 Partition，并重新设计 key 分布策略；
- 在消费端使用多线程消费单个 Partition（针对极端倾斜）；
- 引入中间层流量调度逻辑（如 Kafka Connect、流处理框架 Flink/Spark Streaming 进行动态 repartition）。
- 自定义分区器编写 Partition 分配逻辑，使消息均匀地分发到各 Partition。