当前位置：首页 > news >正文

淘客系统数据库分库分表实践：基于用户 ID 与时间维度的 Sharding 策略

news 2026/5/12 11:46:27

淘客系统数据库分库分表实践：基于用户 ID 与时间维度的 Sharding 策略

大家好，我是微赚淘客系统3.0 的研发者省赚客！

在高并发、大数据量场景下，单库单表早已无法满足淘客系统的业务需求。微赚淘客系统3.0 在日订单量突破千万级后，我们对核心数据表（如订单表、佣金流水表）进行了分库分表改造，采用基于用户 ID 与时间维度的复合 Sharding 策略，有效提升了系统吞吐能力与查询效率。

一、Sharding 策略设计原则

我们的核心目标是：

写入均匀：避免热点写入导致单库负载过高；
查询高效：支持按用户 ID 快速定位分片，同时兼顾时间范围查询；
扩容平滑：未来可线性扩展分库数量而不影响历史数据。

为此，我们选择用户 ID 哈希取模 + 时间范围分表的混合策略。具体如下：

分库依据：user_id % db_count，确保同一用户的所有数据落在同一库，便于事务一致性；
分表依据：按月分表，如order_202512、order_202601，便于冷热分离与归档。

二、ShardingSphere 配置实现

我们使用 Apache ShardingSphere 5.x 作为中间件，通过 Java 配置方式定义分片规则。以下为关键代码示例：

packagejuwatech.cn.sharding.config;importorg.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;importorg.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;importorg.springframework.stereotype.Component;importjava.util.Collection;importjava.util.stream.Collectors;@ComponentpublicclassUserIdPreciseShardingAlgorithmimplementsPreciseShardingAlgorithm<Long>{privatestaticfinalintDB_COUNT=8;@OverridepublicStringdoSharding(Collection<String>availableTargetNames,PreciseShardingValue<Long>shardingValue){LonguserId=shardingValue.getValue();Stringtarget="ds"+(userId%DB_COUNT);if(availableTargetNames.contains(target)){returntarget;}thrownewIllegalArgumentException("No database found for user_id: "+userId);}}

时间维度分表算法如下：

packagejuwatech.cn.sharding.algorithm;importorg.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;importorg.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;importorg.springframework.stereotype.Component;importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;importjava.util.Collection;@ComponentpublicclassOrderTablePreciseShardingAlgorithmimplementsPreciseShardingAlgorithm<LocalDateTime>{privatestaticfinalDateTimeFormatterFORMATTER=DateTimeFormatter.ofPattern("yyyyMM");@OverridepublicStringdoSharding(Collection<String>availableTargetNames,PreciseShardingValue<LocalDateTime>shardingValue){Stringsuffix=shardingValue.getValue().format(FORMATTER);StringtargetTable="t_order_"+suffix;if(availableTargetNames.contains(targetTable)){returntargetTable;}// 若目标表不存在，可动态创建或回退到默认表（生产环境建议预建）return"t_order_default";}}

三、Spring Boot 集成配置

在application.yml中配置数据源与分片规则：

spring:shardingsphere:datasource:names:ds0,ds1,ds2,ds3,ds4,ds5,ds6,ds7ds0:type:com.zaxxer.hikari.HikariDataSourcedriver-class-name:com.mysql.cj.jdbc.Driverjdbc-url:jdbc:mysql://db0.juwatech.cn:3306/order_db_0username:rootpassword:***# ... ds1 ~ ds7 类似配置rules:sharding:tables:t_order:actual-data-nodes:ds$->{0..7}.t_order_$->{202501..202612}database-strategy:standard:sharding-column:user_idprecise-algorithm-class-name:juwatetech.cn.sharding.config.UserIdPreciseShardingAlgorithmtable-strategy:standard:sharding-column:create_timeprecise-algorithm-class-name:juwatech.cn.sharding.algorithm.OrderTablePreciseShardingAlgorithm

注意：actual-data-nodes中的时间范围需根据业务预估提前配置，避免运行时找不到表。

四、DAO 层与实体类示例

订单实体类需包含分片键：

packagejuwatech.cn.entity;importjava.time.LocalDateTime;publicclassOrder{privateLongid;privateLonguserId;// 分库键privateLocalDateTimecreateTime;// 分表键privateStringorderNo;privateLongcommission;// getters & setters}

MyBatis Mapper 示例：

packagejuwatech.cn.mapper;importjuwatech.cn.entity.Order;importorg.apache.ibatis.annotations.Insert;importorg.apache.ibatis.annotations.Mapper;importorg.apache.ibatis.annotations.Select;@MapperpublicinterfaceOrderMapper{@Insert("INSERT INTO t_order (user_id, create_time, order_no, commission) "+"VALUES (#{userId}, #{createTime}, #{orderNo}, #{commission})")voidinsert(Orderorder);@Select("SELECT * FROM t_order WHERE user_id = #{userId} AND create_time BETWEEN #{startTime} AND #{endTime}")List<Order>findByUserIdAndTimeRange(@Param("userId")LonguserId,@Param("startTime")LocalDateTimestartTime,@Param("endTime")LocalDateTimeendTime);}