2.5 读写分离进阶：从单点到30个读节点的架构演进
2.5 读写分离进阶：从单点到30个读节点的架构演进
📚 学习目标
通过本节学习，你将掌握：
- ✅ 读写分离架构的演进路径和设计原则
- ✅ 从单点到多读节点的架构设计方法
- ✅ 负载均衡、故障转移等关键技术
- ✅ 数据一致性保障和延迟处理
- ✅ 大规模读节点的运维和监控
🎯 学习收获
学完本节后，你将能够：
- 架构演进：设计从单点到多读节点的演进路径
- 负载均衡：实现高效的读请求负载均衡
- 故障处理：处理读节点故障和主从延迟问题
- 性能优化：通过读写分离提升系统整体性能
💡 实际场景引入
场景一：读请求压力过大
问题描述：某电商平台的读请求量是写请求的100倍，单个从库无法承受如此大的读压力，查询响应时间逐渐增加。
你的任务：如何通过增加读节点解决读压力问题？
场景二：读节点故障处理
问题描述：某系统有10个读节点，其中一个读节点故障后，负载均衡器仍然将请求分发到该节点，导致部分请求失败。
你的任务：如何实现读节点的自动故障检测和转移？
读写分离是MySQL扩展性架构中的重要组成部分，通过将读操作和写操作分发到不同的数据库实例，可以显著提升系统的并发处理能力和可用性。随着业务规模的增长，从简单的主从架构演进到支持数十个读节点的复杂架构，需要考虑负载均衡、数据一致性、故障处理等多个方面。本节将深入探讨读写分离的架构演进过程，分享从单点到30个读节点的实践经验。
读写分离基本架构
传统主从架构
最简单的读写分离架构是单一主库配一个或多个从库：
# 主库配置 [mysqld] server-id = 1 log-bin = mysql-bin binlog-format = ROW sync_binlog = 1 # 从库配置 [mysqld] server-id = 2 relay-log = relay-bin read_only = 1应用层实现读写分离
// 基于注解的读写分离实现@Target({ElementType.METHOD,ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)public@interfaceReadOnly{}// 数据源路由publicclassDataSourceRouting{privatestaticfinalThreadLocal<String>contextHolder=newThreadLocal<>();publicstaticvoidsetWrite(){contextHolder.set("write");}publicstaticvoidsetRead(){contextHolder.set("read");}publicstaticStringgetDataSource(){returncontextHolder.get();}publicstaticvoidclear(){contextHolder.remove();}}// 数据源配置@ConfigurationpublicclassDataSourceConfig{@Bean@PrimarypublicDataSourceroutingDataSource(){RoutingDataSourceroutingDataSource=newRoutingDataSource();Map<Object,Object>dataSourceMap=newHashMap<>();dataSourceMap.put("write",writeDataSource());dataSourceMap.put("read",readDataSource1());dataSourceMap.put("read1",readDataSource1());dataSourceMap.put("read2",readDataSource2());routingDataSource.setTargetDataSources(dataSourceMap);routingDataSource.setDefaultTargetDataSource(writeDataSource());returnroutingDataSource;}}// AOP切面实现自动路由@Aspect@ComponentpublicclassDataSourceAspect{@Before("@annotation(readOnly)")publicvoidsetReadDataSourceType(ReadOnlyreadOnly){DataSourceRouting.setRead();}@Before("@annotation(org.springframework.transaction.annotation.Transactional)")publicvoidsetWriteDataSourceType(JoinPointpoint){DataSourceRouting.setWrite();}@After("@annotation(readOnly) || @annotation(org.springframework.transaction.annotation.Transactional)")publicvoidclearDataSourceType(){DataSourceRouting.clear();}}适用场景
读多写少场景
-- 典型的读多写少场景-- 电商商品详情页查询SELECTp.product_name,p.description,p.price,p.stock,b.brand_name,c.category_name,AVG(r.rating)asavg_rating,COUNT(r.review_id)asreview_countFROMproducts pJOINbrands bONp.brand_id=b.brand_idJOINcategories cONp.category_id=c.category_idLEFTJOINproduct_reviews rONp.product_id=r.product_idWHEREp.product_id=12345GROUPBYp.product_id;报表查询场景
-- 大量数据分析查询SELECTDATE(o.created_at)asorder_date,COUNT(*)asorder_count,SUM(o.total_amount)astotal_amount,AVG(o.total_amount)asavg_amountFROMorders oWHEREo.created_at>=DATE_SUB(NOW(),INTERVAL30DAY)GROUPBYDATE(o.created_at)ORDERBYorder_dateDESC;缓存预热场景
// 缓存预热读取大量数据@ServicepublicclassCacheWarmupService{@ReadOnlypublicvoidwarmupProductCache(){intoffset=0;intlimit=1000;while(true){List<Product>products=productRepository.findProducts(offset,limit);if(products.isEmpty()){break;}// 将数据加载到缓存products.forEach(product->{redisTemplate.opsForValue().set("product:"+product.getId(),product,Duration.ofHours(1));});offset+=limit;}}}读写分离的高可用机制
1. 读节点故障检测与剔除
// 读节点健康检查@ComponentpublicclassReadNodeHealthChecker{privatefinalMap<String,DataSource>readDataSources;privatefinalSet<String>unhealthyNodes=ConcurrentHashMap.newKeySet();@Scheduled(fixedRate=5000)// 每5秒检查一次publicvoidcheckHealth(){readDataSources.forEach((name,dataSource)->{if(isHealthy(dataSource)){unhealthyNodes.remove(name);}else{unhealthyNodes.add(name);log.warn("Read node {} is unhealthy",name);}});}privatebooleanisHealthy(DataSourcedataSource){try(Connectionconn=dataSource.getConnection();PreparedStatementstmt=conn.prepareStatement("SELECT 1");ResultSetrs=stmt.executeQuery()){returnrs.next();}catch(SQLExceptione){returnfalse;}}publicbooleanisNodeHealthy(StringnodeName){return!unhealthyNodes.contains(nodeName);}}2. 自动故障转移
// 智能数据源选择publicclassSmartRoutingDataSourceextendsAbstractRoutingDataSource{@AutowiredprivateReadNodeHealthCheckerhealthChecker;@OverrideprotectedObjectdetermineCurrentLookupKey(){StringdataSourceKey=DataSourceRouting.getDataSource()