一篇文章带你看懂一致性hash
一致性 Hash 是什么？为什么它是分布式系统中的核心算法
很多程序员第一次接触“一致性 Hash”，都会有一种感觉：
这个名字听起来很高级。
但真正去看资料时，却发现各种概念扑面而来：
- Hash Ring（哈希环）
- 虚拟节点
- 顺时针查找
- 数据迁移
- 分布式缓存
最后越看越晕。
我第一次学习一致性 Hash 的时候，也是这种感觉。
直到后来真正做了分布式系统、Redis 集群、分库分表之后，才真正理解：
一致性 Hash 本质上其实是在解决一个非常现实的问题。
也就是：
当服务器数量变化时，如何尽量减少数据迁移。
今天这篇文章，我会尽量用“小白也能看懂”的方式，把一致性 Hash 讲清楚。
包括：
- 为什么会有一致性 Hash
- 普通 Hash 的问题是什么
- 一致性 Hash 如何解决问题
- 什么是 Hash 环
- 什么是虚拟节点
- Redis 为什么后来不用一致性 Hash
- 工程里真正的使用场景
在进入主题之前，可以先直观的看下一致性hash的原理视频：
5月18日
更多精彩的算法动画，可以访问：算法动图
一、从一个最简单的问题开始
假设现在有 3 台服务器：
ServerA ServerB ServerC现在我们需要存储用户数据：
user_1 user_2 user_3 ...那么问题来了：
user_1 应该放到哪台服务器？
最简单的方法是什么？
很多人第一反应就是：
hash(userId) % 服务器数量例如：
hash(user_1) % 3 = 0 -> ServerA hash(user_2) % 3 = 1 -> ServerB hash(user_3) % 3 = 2 -> ServerC这就是最经典的：
普通 Hash 分片
它的优点非常明显：
- 简单
- 快
- 数据比较均匀
很多系统最开始都是这么做的。
二、普通 Hash 最大的问题
问题出现在：
扩容
假设原来：
3 台服务器后来业务量越来越大。
你发现：
ServerA 快扛不住了。于是决定：
新增一台机器
变成：
4 台服务器那么原来的计算规则：
hash(key) % 3就会变成：
hash(key) % 4这时候会发生什么？
举个例子。
原来：
hash(user_1) % 3 = 1可能在：
ServerB现在：
hash(user_1) % 4 = 2突然变成：
ServerC也就是说：
几乎所有数据的位置都变了
这就是普通 Hash 最大的问题。
三、为什么这是灾难？
很多小白第一次看到这里，会觉得：
“位置变了就变了呗，有什么问题？”
实际上问题非常严重。
因为：
数据需要迁移
原来在：
ServerB现在应该去：
ServerC那你就得：
- 把数据重新搬迁
- 重新同步
- 重新缓存
如果系统数据量非常大：
几百 GB 几 TB 甚至 PB那么扩容一次，系统可能直接崩掉。
尤其是：
分布式缓存
比如：
- Redis
- Memcached
如果大量 Key 失效：
会出现：
缓存雪崩
数据库压力瞬间暴增。
于是大家开始思考：
有没有一种算法，可以在扩容时，尽量少迁移数据？
这就是：
一致性 Hash 出现的背景
四、一致性 Hash 的核心思想
一致性 Hash 最核心的思想只有一句话：
不再对机器数量取模。
而是：
把整个 Hash 空间组织成一个环。
五、什么是 Hash 环？
假设 Hash 的范围是：
0 ~ 2^32-1正常情况下它是一条线：
0 ------------------> 2^32-1一致性 Hash 会把它首尾连接起来：
0 -----------> 2^32-1 ^ | |_______________|于是：
它变成了一个圆环
这就是：
Hash Ring（哈希环）
六、服务器如何放到环上？
现在我们不再用：
% 服务器数量而是：
对服务器本身做 Hash
例如：
hash(ServerA) = 100 hash(ServerB) = 500 hash(ServerC) = 800于是：
ServerA -> 环上的 100 ServerB -> 环上的 500 ServerC -> 环上的 800整个 Hash 环变成：
0 ----100(A)----500(B)----800(C)----0七、数据如何找到服务器？
现在：
假设：
hash(user_1) = 320那么它属于谁？
一致性 Hash 的规则是：
顺时针找到第一个服务器
例如：
320 -> 顺时针找到 500(B)于是：
user_1 -> ServerB再比如：
hash(user_2) = 750顺时针找到：
800(C)于是：
user_2 -> ServerC八、一致性 Hash 为什么能减少数据迁移？
重点来了。
假设现在新增一台服务器：
ServerDHash 后：
hash(ServerD) = 650那么环会变成：
0 ----100(A)----500(B)----650(D)----800(C)----0注意：
只有：
500 ~ 650这部分数据会受到影响。
也就是说：
只有局部数据需要迁移
其他数据完全不动。
这就是一致性 Hash 最核心的价值。
九、普通 Hash 和一致性 Hash 的区别
普通 Hash：
机器数量变化 ↓ 全部重新计算 ↓ 大量数据迁移一致性 Hash：
机器变化 ↓ 只影响相邻区间 ↓ 局部数据迁移这就是为什么它叫：
一致性 Hash
因为它在节点变化时，整体映射关系仍然相对“稳定”。
十、但一致性 Hash 还有一个问题
看到这里很多人会觉得：
“这算法已经很完美了。”
但实际上：
它还有一个非常严重的问题。
数据倾斜
举个例子。
假设：
ServerA -> 100 ServerB -> 110 ServerC -> 900环：
100(A)---110(B)--------------------900(C)那么：
110 ~ 900这一大段数据：
全部归 ServerC。
于是：
- ServerC 压力巨大
- A/B 很闲
- 数据严重不均衡
十一、虚拟节点是怎么解决问题的？
这是很多人第一次学一致性 Hash 时最懵的地方。
其实虚拟节点非常简单。
以前：
一台服务器：
ServerA只映射一次。
现在：
一台服务器映射很多次
例如：
ServerA#1 ServerA#2 ServerA#3 ServerA#4它们本质上都代表：
ServerA只是：
在 Hash 环上有多个位置
例如：
A#1 -> 100 A#2 -> 400 A#3 -> 700 A#4 -> 950于是：
ServerA 就不再只负责一个大区间。
而是负责：
多个小区间最终：
数据会更加均匀
十二、为什么虚拟节点效果这么好？
因为：
随机越多，越均匀
如果：
每台机器只有 1 个节点。
那么：
可能运气不好导致分布极不均匀。
但如果：
每台机器有：
100 个虚拟节点那么：
大数定律会让整体趋于平均
这也是为什么：
很多工程系统都会使用：
虚拟节点
十三、Redis 为什么后来不用一致性 Hash？
很多人学完一致性 Hash 后，会有一个疑问：
Redis Cluster 为什么不用一致性 Hash？
实际上：
Redis Cluster 使用的是：
Hash Slot（槽位）
Redis 固定定义：
16384 个槽例如：
slot = CRC16(key) % 16384然后：
把 Slot 分配给机器
这样做的好处是：
- 更容易迁移
- 更容易统计
- 更容易运维
- 更容易做主从复制
所以：
现代很多分布式系统，其实已经不直接使用一致性 Hash 了。
而是：
Slot 思想
但一致性 Hash 的思想依旧非常重要。
十四、一致性 Hash 的真实应用场景
它主要用于：
1、分布式缓存
例如：
- Redis
- Memcached
客户端根据一致性 Hash 找缓存节点。
2、分库分表
例如：
128 个库 每库 32 张表很多系统会用一致性 Hash 做路由。
3、CDN
请求：
图片 视频 静态资源根据一致性 Hash 找缓存节点。
4、对象存储
例如：
- Cassandra
- Ceph
十五、一句话理解一致性 Hash
如果让我只用一句话总结：
普通 Hash 解决“怎么分配数据”
一致性 Hash 解决“如何平滑扩容”
十六、最后
很多人第一次学习分布式系统时，会觉得：
一致性 Hash 很复杂。
但当你真正理解它之后，你会发现：
它本质上是在解决一个非常工程化的问题：
如何让系统在不停机的情况下，动态扩容。
而这，恰恰是现代互联网系统最核心的能力之一。
很多算法的伟大之处，并不在于数学有多复杂。
而在于：
它真正解决了现实世界的问题。