【Java生产级避坑指南】14. 分库分表踩坑实录：全局索引缺失导致全库扫描，3套根治方案+完整代码

文章目录

• 【Java生产级避坑指南】14. 分库分表踩坑实录：全局索引缺失导致全库扫描，3套根治方案+完整代码
• • 摘要
  • 关键词
  • CSDN文章标签
  • 一、背景：10亿订单系统的查询性能灾难始末
  • • 1.1 业务场景与数据规模
    • 1.2 分库分表方案落地（基于ShardingSphere）
    • 1.3 问题触发：运营端的一个简单查询
    • 1.4 灾难现场：性能雪崩的具体表现
  • 二、核心概念与原理铺垫（新手必看）
  • • 2.1 分库分表的核心逻辑：分片键是“导航图”
    • 2.2 无分片键查询：为什么会全库扫描？
    • 2.3 全局索引：分库分表的“全局导航图”
    • 2.4 全库扫描的性能损耗模型
  • 三、问题深度分析：从日志到根源
  • • 3.1 慢查询日志揭秘：2048次重复查询
    • 3.2 临时止血：添加单表索引的误区
    • 3.3 根源总结：全局索引缺失导致“导航失效”
  • 四、根治方案一：全局映射表（推荐首选）
  • • 4.1 设计思路：建立“非分片键→分片键”的映射关系
    • 4.2 映射表设计与创建
    • • 4.2.1 表结构设计
      • 4.2.2 索引设计说明
    • 4.3 完整代码实现
    • • 4.3.1 实体类定义
      • 4.3.2 Dao层实现
      • 4.3.3 配置文件（application.yml）
    • 4.4 数据一致性保障
    • • 4.4.1 本地事务双写（同步保障）
      • 4.4.2 异步补偿（最终一致性）
      • 4.4.3 查询兜底（降级策略）
    • 4.5 测试验证与结果
    • • 4.5.1 测试步骤
      • 4.5.2 执行结果
      • 4.5.3 性能对比
    • 4.6 映射表分表扩展（数据量超10亿时）
  • 五、根治方案二：Elasticsearch构建搜索引擎（复杂查询场景）
  • • 5.1 设计思路：用ES存储订单索引数据
    • 5.2 架构流程图
    • 5.3 环境准备
    • 5.4 完整实现步骤
    • • 5.4.1 开启MySQL binlog
      • 5.4.2 Elasticsearch索引设计
      • 5.4.3 Canal配置（同步MySQL到ES）
      • 5.4.4 Java代码实现（查询ES+数据库）
    • 5.5 测试验证
    • • 5.5.1 按订单号查询测试
      • 5.5.2 按商品名称模糊查询测试
    • 5.6 优缺点分析
  • 六、根治方案三：冗余数据+二级分片键（极高性能场景）
  • • 6.1 设计思路：双分片键存储，查询按需选择
    • 6.2 架构流程图
    • 6.3 完整实现
    • • 6.3.1 分库分表配置（ShardingSphere）
      • 6.3.2 订单服务实现
    • 6.4 测试验证
    • 6.5 优缺点分析
  • 七、监控与告警：第一时间发现全库扫描
  • • 7.1 慢查询日志监控
    • • 7.1.1 开启MySQL慢查询日志
      • 7.1.2 慢查询日志分析工具
      • • （1）mysqldumpslow（MySQL自带）
        • （2）pt-query-digest（Percona Toolkit）
      • 7.1.3 中间件日志监控（ShardingSphere）
      • • （1）开启SQL审计日志
        • （2）识别广播查询日志
        • （3）日志分析脚本
    • 7.2 自定义埋点监控（AOP拦截DAO层）
    • • 7.2.1 定 义注解（标记需要分片键的方法）
      • 7.2.2 AOP切面实现
      • 7.2.3 DAO方法添加注解
      • 7.2.4 埋点效果验证
    • 7.3 告警配置（Prometheus+Grafana）
    • • 7.3.1 Prometheus配置
      • 7.3.2 告警规则配置
      • 7.3.3 Grafana可视化面板
  • 八、避坑指南与最佳实践（生产落地必备）
  • • 8.1 设计阶段：分片键选择与查询场景梳理
    • • 8.1.1 分片键选择三原则
      • 8.1.2 查询场景梳理表（示例）
    • 8.2 全局映射表最佳实践
    • 8.3 代码评审重点关注
    • 8.4 压测阶段：必须覆盖非分片键查询场景
  • 九、三种方案性能对比与选型决策树
  • • 9.1 完整性能对比表
    • 9.2 选型决策树
    • 9.3 选型总结
  • 十、总结