Redis-Shake在RockyLinux8上的数据同步实战

1. Redis-Shake在RockyLinux8上的数据同步实战

Redis作为当下最流行的内存数据库之一，其数据同步需求在分布式架构中尤为常见。最近我在RockyLinux8环境下测试了阿里云开源的Redis-Shake工具，这个轻量级的数据同步方案给我留下了深刻印象。不同于传统的Redis主从复制，Redis-Shake支持跨版本、跨集群的数据迁移与同步，特别适合业务系统升级、多云架构部署等场景。

在本次测试中，我搭建了两台RockyLinux8服务器作为测试环境，分别部署Redis 5.0和6.2版本，通过Redis-Shake实现了从低版本到高版本的全量+增量数据同步。整个过程涉及环境准备、参数调优、监控方案设计等多个技术环节，下面将详细分享我的实操经验。

2. 环境准备与工具部署

2.1 基础环境配置

测试环境采用两台RockyLinux8.5服务器，配置均为4核8GB内存，分别安装：

• 源端：Redis 5.0.14（模拟旧版生产环境）
• 目标端：Redis 6.2.6（模拟新版环境）

注意：Redis-Shake本身没有版本限制，但建议目标端Redis版本不低于源端，避免兼容性问题。

安装基础依赖包：

# 两台服务器均执行 sudo dnf install -y git make gcc glibc-devel

2.2 Redis-Shake编译安装

获取最新release版本（当前为v3.1.6）：

wget https://github.com/alibaba/RedisShake/releases/download/v3.1.6/redis-shake-v3.1.6.tar.gz tar -zxvf redis-shake-v3.1.6.tar.gz cd redis-shake

编译参数建议：

make static # 生成静态链接二进制文件，便于迁移

编译完成后会生成redis-shake二进制文件，可直接通过./redis-shake -version验证。

3. 同步方案设计与配置

3.1 全量同步配置

创建全量同步配置文件sync_full.conf：

source.address = "10.0.0.1:6379" source.password_raw = "source_redis_password" target.address = "10.0.0.2:6379" target.password_raw = "target_redis_password" # 性能调优参数 parallel = 32 # 根据CPU核心数调整 qps = 50000 # 限流设置

启动命令：

./redis-shake sync_full.conf -type sync

3.2 增量同步配置

增量同步配置文件sync_incr.conf关键参数：

source.type = "sync" source.address = "10.0.0.1:6379" source.password_raw = "source_redis_password" target.address = "10.0.0.2:6379" target.password_raw = "target_redis_password" # 增量同步特有配置 source.rdb.input = local_dump.rdb # 全量同步生成的RDB文件 psync = true # 启用PSYNC协议

重要技巧：在全量同步完成后不要立即启动增量同步，建议先验证全量数据完整性。

4. 性能优化实战

4.1 网络参数调优

在RockyLinux8上需要调整内核参数：

# 增大TCP缓冲区 echo 'net.core.rmem_max = 16777216' >> /etc/sysctl.conf echo 'net.core.wmem_max = 16777216' >> /etc/sysctl.conf # 提高连接跟踪表大小 echo 'net.netfilter.nf_conntrack_max = 1000000' >> /etc/sysctl.conf sysctl -p

4.2 Redis-Shake关键参数

通过实测得出的优化配置：

• parallel：建议设置为CPU逻辑核心数的2-4倍
• batch_count：每次批量写入数量，建议1024-4096
• qps：根据网络带宽计算，公式：qps = 带宽(Mbps)*1000000/8/平均key大小

示例计算：

假设： - 网络带宽：100Mbps - 平均key大小：500字节 则： qps = 100*1000000/8/500 = 25000

5. 监控与验证方案

5.1 实时监控指标

通过Redis-Shake内置的HTTP接口获取状态：

curl http://127.0.0.1:9320/metric

关键指标说明：

• rbytes：已读取数据量
• wbytes：已写入数据量
• total_diff：剩余待同步数据量
• instantaneous_qps：实时QPS

5.2 数据一致性校验

使用redis-full-check工具进行校验：

./redis-full-check -s "10.0.0.1:6379" -p "source_pwd" -t "10.0.0.2:6379" -a "target_pwd"

校验结果解读：

• all_equal：完全一致的数量
• type_diff：类型不一致的key
• value_diff：值不一致的key

6. 常见问题排查实录

6.1 连接超时问题

错误现象：

ERR dial redis failed: dial tcp 10.0.0.1:6379: i/o timeout

解决方案：

1. 检查防火墙规则：

   sudo firewall-cmd --list-all

2. 增加Redis连接超时参数：

   source.connection_timeout = 30 # 单位秒

6.2 大key处理

当遇到大key（>10MB）时可能出现同步阻塞，解决方法：

1. 提前拆分大key
2. 调整以下参数：

   big_key_threshold = 10485760 # 10MB send_bulk_size = 524288 # 512KB/次

6.3 内存溢出处理

错误日志：

fatal error: out of memory

优化方案：

1. 限制RDB解析内存：

   rdb.restore_command_memory = 1024 # 单位MB

2. 启用磁盘缓存模式：

   restore_mode = "disk" restore_dir = "/data/redis-shake-temp"

7. 生产环境部署建议

经过多次测试验证，总结出以下最佳实践：

1. 网络拓扑优化：

   • 同步节点尽量部署在同一可用区
   • 使用万兆网络环境
   • 启用TCP_NODELAY参数

2. 高可用方案：

   # 配置多个源节点地址 source.address = "10.0.0.1:6379;10.0.0.3:6379" source.auth_type = "auth"

3. 断点续传配置：

   checkpoint.enable = true checkpoint.path = "/data/redis-shake-checkpoint"

4. 监控集成方案：

   • 通过Prometheus采集9320端口指标
   • 配置Grafana监控看板
   • 设置QPS突降告警规则

在实际生产部署中，建议先进行小规模数据测试，逐步调整参数至最优状态。对于TB级数据迁移，可以采用分批次key前缀过滤的方式逐步完成：

filter.db.whitelist = 0,1 # 只同步0和1号DB filter.key.whitelist = "user:*" # 只同步user前缀key

通过这次RockyLinux8上的完整测试，验证了Redis-Shake在跨版本数据同步中的稳定性和可靠性。特别是在增量同步场景下，其基于PSYNC的实现方式相比传统方案有明显性能优势。对于需要进行Redis数据迁移或构建双活架构的团队，这个工具值得深入研究和应用。