当前位置：首页 > news >正文

FlinkCDC 数据倾斜

news 2026/4/17 4:10:27

场景：
Mysql 整库采集至 Paimon 出现数据倾斜现象

FlinkCDC 数据倾斜处理（参考处理思想）

数据倾斜问题可以通过多表混合读取的方式来解决。在引入多表混合读取之前，Flink CDC 会按顺序读取完所有表的全量数据，导致下游 sink 在读取单一表数据时发生倾斜。实现多表混合读取后，Flink CDC 会同时读取多张表的 chunk 数据，例如先读取 tableA 的 chunk1，再读取 tableB 的 chunk1，以此类推，直到所有表的 chunk 数据都被读取，从而保证了每个 sink 都有数据流入，有效解决了数据倾斜问题。FlinkCDC 3.0 版本对于一张表的处理，会均匀派发给空闲子任务进行并行处理。

FlinkCDC Mysql

org.apache.flink.cdc.connectors.mysql.source.enumerator.MySqlSourceEnumerator#assignSplits派发 split 给子任务

sinkDemo

org.apache.flink.streaming.api.datastream.DataStream#sinkTo(org.apache.flink.api.connector.sink2.Sink<T>)
org.apache.flink.streaming.api.datastream.DataStreamSink#forSink
org.apache.flink.connector.kafka.sink.KafkaWriter#write
org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchemaBuilder.KafkaRecordSerializationSchemaWrapper#serialize
org.apache.flink.kafka.shaded.org.apache.kafka.clients.producer.KafkaProducer#doSend
org.apache.kafka.clients.producer.KafkaProducer#partition

publicintpartition(Stringtopic,Objectkey,byte[]keyBytes,Objectvalue,byte[]valueBytes,Clustercluster,intnumPartitions){returnkeyBytes==null?this.stickyPartitionCache.partition(topic,cluster):Utils.toPositive(Utils.murmur2(keyBytes))%numPartitions;}