【架构实战】数据库分库分表实战

一、为什么需要分库分表

当数据量超过单机数据库的承载能力时，分库分表成为必然选择：

• 单库数据量过亿：查询性能急剧下降
• 单表数据量过大：索引效率降低，DML操作变慢
• 连接数耗尽：数据库连接成为稀缺资源
• 存储空间不足：单机的磁盘容量有上限

二、分库分表策略

1. 垂直拆分

按业务将表或库拆分开：

原来：用户库（用户表、订单表、支付表） 拆分后： 用户库（用户表） 订单库（订单表） 支付库（支付表）

2. 水平拆分

按数据规则将表拆分：

-- 按用户ID取模分表users_0:WHEREuser_id%4=0users_1:WHEREuser_id%4=1users_2:WHEREuser_id%4=2users_3:WHEREuser_id%4=3

3. 常见的分片键选择

三、分库分表中间件

ShardingSphere

# application.ymlspring:shardingsphere:datasource:ds0:url:jdbc:mysql://localhost:3306/db0driver-class-name:com.mysql.cj.jdbc.Driverds1:url:jdbc:mysql://localhost:3306/db1driver-class-name:com.mysql.cj.jdbc.Driverrules:sharding:tables:t_order:actual-data-nodes:ds$->{0..1}.t_order_$->{0..1}table-strategy:standard:sharding-column:order_idsharding-algorithm-name:order_inline

MyCat

四、实战代码

Java SDK 使用示例

// ShardingSphere JDBC@ConfigurationpublicclassDataSourceConfig{@BeanpublicDataSourcedataSource(){MapdataSourceMap=newHashMap<>();dataSourceMap.put("ds0",createDataSource("db0"));dataSourceMap.put("ds1",createDataSource("db1"));ShardingRuleConfigurationconfig=newShardingRuleConfiguration();config.getTables().add(createTableRule());returnDataSourceFactory.createDataSource(dataSourceMap,config);}}// 分片键获取publicLonggetShardingKey(Orderorder){returnorder.getUserId()%4;}

五、跨库查询解决方案

1. 禁止跨库JOIN

// 业务层面解决：先查用户，再查订单Useruser=userMapper.selectById(userId);Listorders=orderMapper.selectByUserId(userId);

2. 异构表

-- 在订单库冗余用户信息CREATETABLEt_order(order_idBIGINT,user_idBIGINT,user_nameVARCHAR(50),-- 冗余字段amountDECIMAL(10,2),created_atDATETIME);

3. ES搜索引擎

MySQL(分库分表) → 数据同步 → Elasticsearch ↓ 复杂查询由ES处理

六、分布式ID生成

分库分表后，需要分布式ID：

// Snowflake算法publicclassSnowflakeIdGenerator{privatefinallongtwepoch=1288834974657L;privatefinallongworkerIdBits=5L;privatefinallongdatacenterIdBits=5L;publicsynchronizedlongnextId(){longtimestamp=timeGen();longid=((timestamp-twepoch)<<22)|(datacenterId<<17)|(workerId<<12)|sequence;returnid;}}// 使用SnowflakeIdGeneratoridGenerator=newSnowflakeIdGenerator(1,1);longorderId=idGenerator.nextId();

七、常见问题与解决方案

Q1：扩容时如何迁移数据？

• 方案1：双写（新老库同时写）
• 方案2：定时任务迁移
• 方案3：使用一致性哈希减少迁移量

Q2：如何保证分页查询？

-- 反例：深分页问题SELECT*FROMt_orderORDERBYidLIMIT1000000,10-- 正例：游标分页SELECT*FROMt_orderWHEREid>1000000ORDERBYidLIMIT10

Q3：分布式事务如何处理？

使用 Seata AT 模式或 TCC 模式

八、总结

分库分表是系统扩展的必经之路，但增加了系统复杂度：

• ✅ 突破单机性能瓶颈
• ✅ 提高系统可用性
• ❌ 跨库查询困难
• ❌ 运维复杂度增加

思考题：你的系统中数据量最大的是哪张表？有没有考虑过分库分表？

个人观点，仅供参考