当前位置：首页 > news >正文

【赵渝强老师】TiDB的列存引擎：TiFlash

news 2026/3/26 22:41:23

TiDB的TiFlash提供列式存储，且拥有借助ClickHouse高效实现的协处理器层。除此以外，它与TiKV非常类似，依赖同样的Multi-Raft体系，以Region为单位进行数据复制和分散。TiFlash以低消耗不阻塞TiKV写入的方式，实时复制TiKV集群中的数据，并同时提供与TiKV一样的一致性读取，且可以保证读取到最新的数据。TiFlash中的Region副本与TiKV中完全对应，且会跟随TiKV中的Leader副本同时进行分裂与合并。下图为TiDB HTAP形态架构，其中包含TiFlash节点。

TiFlash主要包含两个组件，一个是列式存储引擎组件，另一个是处理Multi-Raft协议通信相关工作的TiFlashproxy组件。TiFlash可以兼容TiDB与TiSpark，用户可以选择使用不同的计算引擎。

提示：TiFlash暂时无法直接接受数据写入，任何数据必须先写入TiKV再同步到TiFlash。


点击这里查看视频讲解：【赵渝强老师】TiDB的列存引擎：TiFlash

TiFlash部署完成后并不会自动从TiKV中同步数据，而需要手动指定需要同步的表。可以使用TiDB或者TiSpark读取TiFlash，其中：TiDB适合用于中等规模的OLAP计算，而TiSpark适合大规模的OLAP计算。用户可以根据使用的场景和使用习惯自行选择。

执行下面的语句创建一个TiDB数据库集群，该集群中将包含：一个TiDB节点、一个PD节点、两个TiKV节点和两个TiFlash节点。

# tiup playground v8.5.1 \--db 1 --pd 1 --kv 2 \--tiflash 2 --without-monitor

TiFlash接入TiKV集群后，默认不会开始同步数据。可通过MySQL客户端向TiDB发送DDL命令来为特定的表建立TiFlash副本，DDL语句格式如下：

ALTER TABLE <table_name> SET TIFLASH REPLICA <count>;
# 其中：count表示TiFlash中的副本数，0表示删除TiFlash中的所有副本数。

下面是具体的操作步骤：

（1）为员工表emp建立2个TiFlash副本。

tidb> alter table emp set tiflash replica 2;

（2）查看员工表emp的同步进度。

tidb> select * from information_schema.tiflash_replica where table_schema = 'scott' and table_name = 'emp' \G;# 输出的信息如下：
*************************** 1. row ***************************TABLE_SCHEMA: scottTABLE_NAME: empTABLE_ID: 114REPLICA_COUNT: 2
LOCATION_LABELS: AVAILABLE: 0PROGRESS: 0.5
1 row in set (0.005 sec)

（3）再次查看员工表emp的同步进度。

tidb> select * from information_schema.tiflash_replica where table_schema = 'scott' and table_name = 'emp' \G;# 输出的信息如下：
*************************** 1. row ***************************TABLE_SCHEMA: scottTABLE_NAME: empTABLE_ID: 114REPLICA_COUNT: 2
LOCATION_LABELS: AVAILABLE: 1PROGRESS: 1
1 row in set (0.004 sec)# 其中：
# AVAILABLE字段：表示该表的TiFlash副本是否可用。1代表可用，0代表不可用。副本状态为可用之后就不再改变，如果通过DDL命令修改副本数则会重新计算同步进度。
# PROGRESS字段：代表同步进度，在0.0~1.0之间，1代表至少1个副本已经完成同步。

（4）删除员工表emp的所有TiFlash副本。

tidb> alter table emp set tiflash replica 0;

（5）为scott数据库构建TiFlash副本。

tidb> alter database scott set tiflash replica 2;

（6）查看scott数据库的同步进度。

tidb> select * from information_schema.tiflash_replica where table_schema = 'scott' \G;# 输出的信息如下：
*************************** 1. row ***************************TABLE_SCHEMA: scottTABLE_NAME: empTABLE_ID: 114REPLICA_COUNT: 2
LOCATION_LABELS: AVAILABLE: 0PROGRESS: 0.5
*************************** 2. row ***************************TABLE_SCHEMA: scottTABLE_NAME: deptTABLE_ID: 112REPLICA_COUNT: 2
LOCATION_LABELS: AVAILABLE: 0PROGRESS: 0.5
2 rows in set (0.006 sec)

（7）再次查看scott数据库的同步进度。

tidb> select * from information_schema.tiflash_replica where table_schema = 'scott' \G;# 输出的信息如下：
*************************** 1. row ***************************TABLE_SCHEMA: scottTABLE_NAME: empTABLE_ID: 114REPLICA_COUNT: 2
LOCATION_LABELS: AVAILABLE: 1PROGRESS: 1
*************************** 2. row ***************************TABLE_SCHEMA: scottTABLE_NAME: deptTABLE_ID: 112REPLICA_COUNT: 2
LOCATION_LABELS: AVAILABLE: 1PROGRESS: 1
2 rows in set (0.006 sec)

（8）基于员工表emp创建一张新表，并查看新表的列存同步进度。

tidb> create table newemp like emp;
tidb> select * from information_schema.tiflash_replica where table_schema = 'scott' and table_name = 'newemp' \G;# 输出的信息如下：
*************************** 1. row ***************************TABLE_SCHEMA: scottTABLE_NAME: newempTABLE_ID: 126REPLICA_COUNT: 2
LOCATION_LABELS: AVAILABLE: 1PROGRESS: 1
1 row in set (0.008 sec)# 提示：基于一张已存在TiFlash副本的表创建的新表也将自动拥有TIFlash副本。

在了解到了TiFlash的基本操作后，下面讨论一下TiFlash的核心特性。

异步复制

TiFlash中的副本以特殊角色(Raft Learner)进行异步的数据复制。这表示当TiFlash节点宕机或者网络高延迟等状况发生时，TiKV的业务仍然能确保正常进行。这套复制机制也继承了TiKV体系的自动负载均衡和高可用：并不用依赖附加的复制管道，而是直接以多对多方式接收TiKV的数据传输；且只要TiKV中数据不丢失，就可以随时恢复TiFlash的副本。