当前位置：首页 > news >正文

架构师必备：如何做业务数据的平滑迁移

news 2026/4/22 8:51:13

大家好，我是Java烘焙师。本文结合笔者的经验和思考，对业务数据迁移做个总结。在业务系统迭代的过程中，难免会做数据迁移，可能是因为：

业务模型变更：实体关系变了
或者存储结构变更：字段从DB迁移到HBase等NoSQL存储、或做文本压缩、或修改数据聚合粒度等

业务数据迁移，需要改持久化层基础代码，还涉及到存量数据迁移，因此风险较高，容易出现新旧数据不一致。为了实现平滑迁移（不影响、不中断业务），各步骤都要做好灰度切换、数据/监控对比。注：本文讨论的是业务数据迁移，如果是分库分表迁移，可以借助类似Canel的中间件。
下面总结了一套标准流程SOP，步骤如下。

1. 增量双写

DB迁移场景：写旧表+写新表，放在同一个事务内，即可保证一致性
跨DB、或从DB迁移到其它NoSQL存储场景：先写旧表，再写新表，在写失败时做好兜底重试

2. 刷存量数据

在增量双写灰度开全后，能确保新写入的数据在新表、旧表一致，但还需要补刷历史存量数据。
离线导出全量数据的业务id，查旧表、并写新表，确保所有存量数据的新表字段都写入值。

3. 数据全量比对，确保新旧一致

有两种比对方式：

复用上述刷数据任务，通过开关控制，仅做比对、不刷数据
离线对账，参考之前写的文章：[架构师必备：实时对账与离线对账](https://www.cnblogs.com/toplist/p/19009976 =360x)

sql示例：

-- （1）比较两个表的条数是否一致
select count(1) from table_a; -- 查出左表的条数
select count(1) from table_b; -- 查出右表的条数-- （2）比较数据内容是否一致
-- （2.1）只存在于左表的数据：左连接查询，左表记录都会保留，右表字段为空则说明右表缺少数据：
select * from
table_a left outer join table_b
on table_a.biz_field=table_b.biz_field
where table_b.biz_field is null;-- （2.2）只存在于右表的数据：右连接查询，右表记录都会保留，左表字段为空则说明左表缺少数据：
select * from
table_a right outer join table_b
on table_a.biz_field=table_b.biz_field
where table_a.biz_field is null;-- （2.3）两个表存在差异的数据，内连接查询，比对各个字段是否一致：
select * from
table_a inner join table_b
on table_a.biz_field=table_b.biz_field
where
(table_a.field_1 <> table_b.field_1
or table_a.field_2 <> table_b.field_2
or table_a.field_3 <> table_b.field_3);