1. Redis-Shake在RockyLinux8上的数据同步实战Redis作为当下最流行的内存数据库之一其数据同步需求在分布式架构中尤为常见。最近我在RockyLinux8环境下测试了阿里云开源的Redis-Shake工具这个轻量级的数据同步方案给我留下了深刻印象。不同于传统的Redis主从复制Redis-Shake支持跨版本、跨集群的数据迁移与同步特别适合业务系统升级、多云架构部署等场景。在本次测试中我搭建了两台RockyLinux8服务器作为测试环境分别部署Redis 5.0和6.2版本通过Redis-Shake实现了从低版本到高版本的全量增量数据同步。整个过程涉及环境准备、参数调优、监控方案设计等多个技术环节下面将详细分享我的实操经验。2. 环境准备与工具部署2.1 基础环境配置测试环境采用两台RockyLinux8.5服务器配置均为4核8GB内存分别安装源端Redis 5.0.14模拟旧版生产环境目标端Redis 6.2.6模拟新版环境注意Redis-Shake本身没有版本限制但建议目标端Redis版本不低于源端避免兼容性问题。安装基础依赖包# 两台服务器均执行 sudo dnf install -y git make gcc glibc-devel2.2 Redis-Shake编译安装获取最新release版本当前为v3.1.6wget https://github.com/alibaba/RedisShake/releases/download/v3.1.6/redis-shake-v3.1.6.tar.gz tar -zxvf redis-shake-v3.1.6.tar.gz cd redis-shake编译参数建议make static # 生成静态链接二进制文件便于迁移编译完成后会生成redis-shake二进制文件可直接通过./redis-shake -version验证。3. 同步方案设计与配置3.1 全量同步配置创建全量同步配置文件sync_full.confsource.address 10.0.0.1:6379 source.password_raw source_redis_password target.address 10.0.0.2:6379 target.password_raw target_redis_password # 性能调优参数 parallel 32 # 根据CPU核心数调整 qps 50000 # 限流设置启动命令./redis-shake sync_full.conf -type sync3.2 增量同步配置增量同步配置文件sync_incr.conf关键参数source.type sync source.address 10.0.0.1:6379 source.password_raw source_redis_password target.address 10.0.0.2:6379 target.password_raw target_redis_password # 增量同步特有配置 source.rdb.input local_dump.rdb # 全量同步生成的RDB文件 psync true # 启用PSYNC协议重要技巧在全量同步完成后不要立即启动增量同步建议先验证全量数据完整性。4. 性能优化实战4.1 网络参数调优在RockyLinux8上需要调整内核参数# 增大TCP缓冲区 echo net.core.rmem_max 16777216 /etc/sysctl.conf echo net.core.wmem_max 16777216 /etc/sysctl.conf # 提高连接跟踪表大小 echo net.netfilter.nf_conntrack_max 1000000 /etc/sysctl.conf sysctl -p4.2 Redis-Shake关键参数通过实测得出的优化配置parallel建议设置为CPU逻辑核心数的2-4倍batch_count每次批量写入数量建议1024-4096qps根据网络带宽计算公式qps 带宽(Mbps)*1000000/8/平均key大小示例计算假设 - 网络带宽100Mbps - 平均key大小500字节 则 qps 100*1000000/8/500 250005. 监控与验证方案5.1 实时监控指标通过Redis-Shake内置的HTTP接口获取状态curl http://127.0.0.1:9320/metric关键指标说明rbytes已读取数据量wbytes已写入数据量total_diff剩余待同步数据量instantaneous_qps实时QPS5.2 数据一致性校验使用redis-full-check工具进行校验./redis-full-check -s 10.0.0.1:6379 -p source_pwd -t 10.0.0.2:6379 -a target_pwd校验结果解读all_equal完全一致的数量type_diff类型不一致的keyvalue_diff值不一致的key6. 常见问题排查实录6.1 连接超时问题错误现象ERR dial redis failed: dial tcp 10.0.0.1:6379: i/o timeout解决方案检查防火墙规则sudo firewall-cmd --list-all增加Redis连接超时参数source.connection_timeout 30 # 单位秒6.2 大key处理当遇到大key10MB时可能出现同步阻塞解决方法提前拆分大key调整以下参数big_key_threshold 10485760 # 10MB send_bulk_size 524288 # 512KB/次6.3 内存溢出处理错误日志fatal error: out of memory优化方案限制RDB解析内存rdb.restore_command_memory 1024 # 单位MB启用磁盘缓存模式restore_mode disk restore_dir /data/redis-shake-temp7. 生产环境部署建议经过多次测试验证总结出以下最佳实践网络拓扑优化同步节点尽量部署在同一可用区使用万兆网络环境启用TCP_NODELAY参数高可用方案# 配置多个源节点地址 source.address 10.0.0.1:6379;10.0.0.3:6379 source.auth_type auth断点续传配置checkpoint.enable true checkpoint.path /data/redis-shake-checkpoint监控集成方案通过Prometheus采集9320端口指标配置Grafana监控看板设置QPS突降告警规则在实际生产部署中建议先进行小规模数据测试逐步调整参数至最优状态。对于TB级数据迁移可以采用分批次key前缀过滤的方式逐步完成filter.db.whitelist 0,1 # 只同步0和1号DB filter.key.whitelist user:* # 只同步user前缀key通过这次RockyLinux8上的完整测试验证了Redis-Shake在跨版本数据同步中的稳定性和可靠性。特别是在增量同步场景下其基于PSYNC的实现方式相比传统方案有明显性能优势。对于需要进行Redis数据迁移或构建双活架构的团队这个工具值得深入研究和应用。 
长河君 · 2026/8/8 4:36:44 · 阅读 1.2k Redis-Shake在RockyLinux8上的数据同步实战
1. Redis-Shake在RockyLinux8上的数据同步实战Redis作为当下最流行的内存数据库之一其数据同步需求在分布式架构中尤为常见。最近我在RockyLinux8环境下测试了阿里云开源的Redis-Shake工具这个轻量级的数据同步方案给我留下了深刻印象。不同于传统的Redis主从复制Redis-Shake支持跨版本、跨集群的数据迁移与同步特别适合业务系统升级、多云架构部署等场景。在本次测试中我搭建了两台RockyLinux8服务器作为测试环境分别部署Redis 5.0和6.2版本通过Redis-Shake实现了从低版本到高版本的全量增量数据同步。整个过程涉及环境准备、参数调优、监控方案设计等多个技术环节下面将详细分享我的实操经验。2. 环境准备与工具部署2.1 基础环境配置测试环境采用两台RockyLinux8.5服务器配置均为4核8GB内存分别安装源端Redis 5.0.14模拟旧版生产环境目标端Redis 6.2.6模拟新版环境注意Redis-Shake本身没有版本限制但建议目标端Redis版本不低于源端避免兼容性问题。安装基础依赖包# 两台服务器均执行 sudo dnf install -y git make gcc glibc-devel2.2 Redis-Shake编译安装获取最新release版本当前为v3.1.6wget https://github.com/alibaba/RedisShake/releases/download/v3.1.6/redis-shake-v3.1.6.tar.gz tar -zxvf redis-shake-v3.1.6.tar.gz cd redis-shake编译参数建议make static # 生成静态链接二进制文件便于迁移编译完成后会生成redis-shake二进制文件可直接通过./redis-shake -version验证。3. 同步方案设计与配置3.1 全量同步配置创建全量同步配置文件sync_full.confsource.address 10.0.0.1:6379 source.password_raw source_redis_password target.address 10.0.0.2:6379 target.password_raw target_redis_password # 性能调优参数 parallel 32 # 根据CPU核心数调整 qps 50000 # 限流设置启动命令./redis-shake sync_full.conf -type sync3.2 增量同步配置增量同步配置文件sync_incr.conf关键参数source.type sync source.address 10.0.0.1:6379 source.password_raw source_redis_password target.address 10.0.0.2:6379 target.password_raw target_redis_password # 增量同步特有配置 source.rdb.input local_dump.rdb # 全量同步生成的RDB文件 psync true # 启用PSYNC协议重要技巧在全量同步完成后不要立即启动增量同步建议先验证全量数据完整性。4. 性能优化实战4.1 网络参数调优在RockyLinux8上需要调整内核参数# 增大TCP缓冲区 echo net.core.rmem_max 16777216 /etc/sysctl.conf echo net.core.wmem_max 16777216 /etc/sysctl.conf # 提高连接跟踪表大小 echo net.netfilter.nf_conntrack_max 1000000 /etc/sysctl.conf sysctl -p4.2 Redis-Shake关键参数通过实测得出的优化配置parallel建议设置为CPU逻辑核心数的2-4倍batch_count每次批量写入数量建议1024-4096qps根据网络带宽计算公式qps 带宽(Mbps)*1000000/8/平均key大小示例计算假设 - 网络带宽100Mbps - 平均key大小500字节 则 qps 100*1000000/8/500 250005. 监控与验证方案5.1 实时监控指标通过Redis-Shake内置的HTTP接口获取状态curl http://127.0.0.1:9320/metric关键指标说明rbytes已读取数据量wbytes已写入数据量total_diff剩余待同步数据量instantaneous_qps实时QPS5.2 数据一致性校验使用redis-full-check工具进行校验./redis-full-check -s 10.0.0.1:6379 -p source_pwd -t 10.0.0.2:6379 -a target_pwd校验结果解读all_equal完全一致的数量type_diff类型不一致的keyvalue_diff值不一致的key6. 常见问题排查实录6.1 连接超时问题错误现象ERR dial redis failed: dial tcp 10.0.0.1:6379: i/o timeout解决方案检查防火墙规则sudo firewall-cmd --list-all增加Redis连接超时参数source.connection_timeout 30 # 单位秒6.2 大key处理当遇到大key10MB时可能出现同步阻塞解决方法提前拆分大key调整以下参数big_key_threshold 10485760 # 10MB send_bulk_size 524288 # 512KB/次6.3 内存溢出处理错误日志fatal error: out of memory优化方案限制RDB解析内存rdb.restore_command_memory 1024 # 单位MB启用磁盘缓存模式restore_mode disk restore_dir /data/redis-shake-temp7. 生产环境部署建议经过多次测试验证总结出以下最佳实践网络拓扑优化同步节点尽量部署在同一可用区使用万兆网络环境启用TCP_NODELAY参数高可用方案# 配置多个源节点地址 source.address 10.0.0.1:6379;10.0.0.3:6379 source.auth_type auth断点续传配置checkpoint.enable true checkpoint.path /data/redis-shake-checkpoint监控集成方案通过Prometheus采集9320端口指标配置Grafana监控看板设置QPS突降告警规则在实际生产部署中建议先进行小规模数据测试逐步调整参数至最优状态。对于TB级数据迁移可以采用分批次key前缀过滤的方式逐步完成filter.db.whitelist 0,1 # 只同步0和1号DB filter.key.whitelist user:* # 只同步user前缀key通过这次RockyLinux8上的完整测试验证了Redis-Shake在跨版本数据同步中的稳定性和可靠性。特别是在增量同步场景下其基于PSYNC的实现方式相比传统方案有明显性能优势。对于需要进行Redis数据迁移或构建双活架构的团队这个工具值得深入研究和应用。