真正理解redis缓存
Redis缓存和数据一致性问题,看这一篇就够了
引言
大部分人像我一样,刚开始接触到redis缓存的时候,感觉这个提升性能确实很秒,但是底下蕴含的许多问题和对应的解决方案都没有来得及搞懂
- 到底是更新缓存还是删除缓存?
- 到底是先更新数据库再删除缓存还是先更新缓存再删除数据库?
- 为什么要引入消息队列保持最终一致性?
- 延迟双删有什么问题,什么场景下建议使用?
- …
接下来就带大家把这些事搞清楚
引入缓存提高性能
先从最简单的场景讲起
假设你现在做了一个demo小项目,数据量很少,访问量也很少,那么无论是读请求还是写请求其实都直接通过数据库(MySql)来解决就好了
图片
但是假设你的项目越做越大,最后甚至上线了还拥有百万用户,某一天你发现你的服务直接down了,一查看报错日志原来是单单mysql有点扛不住了,这时候你就想到了使用redis缓存优化性能,于是架构模型就发生了变化
图片
但是引入缓存之后很自然会产生一个问题,怎么把MySql的数据加载到Redis缓存里面呢
最简单直接的方法[全量数据刷新到Redis里面]
- 数据库的数据，全量刷入缓存（不设置失效时间）
- 写请求只更新数据库，不更新缓存
- 启动一个定时任务，定时把数据库的数据，更新到缓存中
图片
显然这个方案面临一些问题:
- 缓存利用率低,许多不常用的数据会一直停留再缓存里面
- 定时刷新缓存数据的机制导致长时间可能读取到旧数据
所以这个不见得是一个兼具效率和可行性的方案
缓存利用率和一致性问题
如何提高缓存利用率
很自然可以想到,我只要把经常读取的数据存到缓存里面,不常读取的数据即使只放在MySql里面也不会有太大性能损耗
优化思路:
- 写请求依旧只操作数据库
- 读请求优先读缓存,如果缓存不存在就读MySql然后回源到redis里面
- 同时,写入缓存的数据全部设置失效时间
图片
通过访问激活,失效时间限制,可以保证缓存里面的Key都是热点数据
数据一致性问题
要想保证缓存和数据库「实时」一致，那就不能再用定时任务刷新缓存了。
所以，当数据发生更新时，我们不仅要操作数据库，还要一并操作缓存。具体操作就是，修改一条数据时，不仅要更新数据库，也要连带缓存一起更新。
但数据库和缓存都更新，又存在先后问题，那对应的方案就有 2 个：
- 先更新缓存，后更新数据库
- 先更新数据库，后更新缓存
哪个方案更好呢？
先不考虑并发问题，正常情况下，无论谁先谁后，都可以让两者保持一致，但现在我们需要重点考虑「异常」情况。
因为操作分为两步，那么就很有可能存在「第一步成功、第二步失败」的情况发生。
这 2 种方案我们一个个来分析。
（1）先更新缓存,再更新数据库
如果缓存更新成功了，但数据库更新失败，那么此时缓存中是最新值，但数据库中是「旧值」。
虽然此时读请求可以命中缓存，拿到正确的值，但是，一旦缓存「失效」，就会从数据库中读取到「旧值」，重建缓存也是这个旧值。
这时用户会发现自己之前修改的数据又「变回去」了，对业务造成影响。
（2）先更新数据库,再更新缓存
如果数据库更新成功了，但缓存更新失败，那么此时数据库中是最新值，缓存中是「旧值」。
之后的读请求读到的都是旧数据，只有当缓存「失效」后，才能从数据库中得到正确的值。
这时用户会发现，自己刚刚修改了数据，但却看不到变更，一段时间过后，数据才变更过来，对业务也会有影响。
可见，无论谁先谁后，但凡后者发生异常，就会对业务造成影响。那怎么解决这个问题呢？
别急，后面我会详细给出对应的解决方案。
我们继续分析，除了操作失败问题，还有什么场景会影响数据一致性？
这里我们还需要重点关注：并发问题。
并发引发的一致性问题
假设我们采用「先更新数据库，再更新缓存」的方案，并且两步都可以「成功执行」的前提下，如果存在并发，情况会是怎样的呢？
有线程 A 和线程 B 两个线程，需要更新「同一条」数据，会发生这样的场景：
- 线程 A 更新数据库（X = 1）
- 线程 B 更新数据库（X = 2）
- 线程 B 更新缓存（X = 2）
- 线程 A 更新缓存（X = 1）
最终 X 的值在缓存中是 1，在数据库中是 2，发生不一致。
也就是说，A 虽然先于 B 发生，但 B 操作数据库和缓存的时间，却要比 A 的时间短，执行时序发生「错乱」，最终这条数据结果是不符合预期的。
同样地，采用「先更新缓存，再更新数据库」的方案，也会有类似问题，这里不再详述。
那怎么解决这个问题呢？这里通常的解决方案是，加「分布式锁」当然这会牺牲一定的性能。
两个线程要修改「同一条」数据，每个线程在改之前，先去申请分布式锁，拿到锁的线程才允许更新数据库和缓存，拿不到锁的线程，返回失败，等待下次重试。
这么做的目的，就是为了只允许一个线程去操作数据和缓存，避免并发问题。
除此之外，我们从「缓存利用率」的角度来评估这个方案，也是不太推荐的。
这是因为每次数据发生变更，都「无脑」更新缓存，但是缓存中的数据不一定会被「马上读取」，这就会导致缓存中可能存放了很多不常访问的数据，浪费缓存资源。
而且很多情况下，写到缓存中的值，并不是与数据库中的值一一对应的，很有可能是先查询数据库，再经过一系列「计算」得出一个值，才把这个值才写到缓存中。
由此可见，这种「更新数据库 + 更新缓存」的方案，不仅缓存利用率不高，还会造成机器性能的浪费。
所以此时我们需要考虑另外一种方案：删除缓存(缓存懒加载)。
删除缓存可以保证数据一致性吗
显然删除缓存对应的方案也有两种
- 先删除缓存再更新数据库
- 先更新数据库再删除缓存
同样地，先来看「第二步」操作失败的情况。
先删除缓存，后更新数据库，第二步操作失败，数据库没有更新成功，那下次读缓存发现不存在，则从数据库中读取，并重建缓存，此时数据库和缓存依旧保持一致。
但如果是先更新数据库，后删除缓存，第二步操作失败，数据库是最新值，缓存中是旧值，发生不一致。所以，这个方案依旧存在问题。
总之，和前面提到的问题类似，第二步失败依旧有不一致的风险。
好，我们再来看「并发」问题，这个问题是我们需要关注的「重点」。
(1)先删除缓存,后更新数据库
一个读写并发中
- 线程A要修改X的值
- 线程A先删除缓存
- 线程B要读取X的值,发现缓存没有X,所以去读取并读到数据库旧值
- 线程A更新数据库为新值
- 线程B回源Redis把缓存更新为旧值
可见最终缓存里面的值是旧值,MySql里面的值是新值
(2)先更新数据库,后删除缓存
一个读写并发中
- 线程A要读取X的值,但是缓存不存在,所以前往读取数据库获得旧值
- 线程B修改X的值,直接在数据库里面修改
- 线程B删除Redis缓存
- 线程A回源数据到Redis缓存
最终导致缓存里面的值是旧值,MySql里面的值是新值
其实概率「很低」，这是因为它必须满足 3 个条件：
- 缓存刚好已失效
- 读请求 + 写请求并发
- 更新数据库 + 删除缓存的时间（步骤 3-4），要比读数据库 + 写缓存时间短（步骤 2 和 5）
仔细想一下，条件 3 发生的概率其实是非常低的。
因为写数据库一般会先「加锁」，所以写数据库，通常是要比读数据库的时间更长的。
这么来看，「先更新数据库 + 再删除缓存」的方案，是可以保证数据一致性的。
所以，我们应该采用这种方案，来操作数据库和缓存。
好，解决了并发问题，我们继续来看前面遗留的，第二步执行「失败」导致数据不一致的问题。
如何保证MySql和Redis的两步操作都成功?
前面讲到,不管第二步是操作数据库还是删除缓存,如果执行失败都会导致不符合预期的业务结果
试想,如果想让一个失败的步骤再次成功,很自然想到的方法就是重试
但这并不意味一旦失败就可以无脑重试
因为会出现以下的几个问题
- 立即重试很大概率「还会失败」
- 「重试次数」设置多少才合理？
- 重试会一直「占用」这个线程资源，无法服务其它客户端请求
所以最好的方式就是异步重试
什么是异步重试？
其实就是把重试请求写到「消息队列」中，然后由专门的消费者来重试，直到成功。
或者更直接的做法，为了避免第二步执行失败，我们可以把操作缓存这一步，直接放到消息队列中，由消费者来操作缓存。
到这里你可能会问，写消息队列也有可能会失败啊？而且，引入消息队列，这又增加了更多的维护成本，这样做值得吗？
这个问题很好，但我们思考这样一个问题：如果在执行失败的线程中一直重试，还没等执行成功，此时如果项目「重启」了，那这次重试请求也就「丢失」了，那这条数据就一直不一致了。
所以，这里我们必须把重试消息或第二步操作放到另一个「服务」中，这个服务用「消息队列」最为合适。这是因为消息队列的特性，正好符合我们的需求：
- 消息队列保证可靠性：写到队列中的消息，成功消费之前不会丢失（重启项目也不担心）
- 消息队列保证消息成功投递：下游从队列拉取消息，成功消费后才会删除消息，否则还会继续投递消息给消费者（符合我们重试的需求）
至于写队列失败和消息队列的维护成本问题：
- 写队列失败：操作缓存和写消息队列，「同时失败」的概率其实是很小的
- 维护成本：我们项目中一般都会用到消息队列，维护成本并没有新增很多
所以，引入消息队列来解决这个问题，是比较合适的。这时架构模型就变成了这样：
图片
那如果你确实不想在应用中去写消息队列，是否有更简单的方案，同时又可以保证一致性呢？
方案还是有的，这就是近几年比较流行的解决方案：订阅数据库变更日志，再操作缓存。
具体来讲就是，我们的业务应用在修改数据时，「只需」修改数据库，无需操作缓存。
那什么时候操作缓存呢？这就和数据库的「变更日志」有关了。
拿 MySQL 举例，当一条数据发生修改时，MySQL 就会产生一条变更日志（Binlog），我们可以订阅这个日志，拿到具体操作的数据，然后再根据这条数据，去删除对应的缓存。
图片
订阅变更日志，目前也有了比较成熟的开源中间件，例如阿里的 canal，使用这种方案的优点在于：
- 无需考虑写消息队列失败情况：只要写 MySQL 成功，Binlog 肯定会有
- 自动投递到下游队列：canal 自动把数据库变更日志「投递」给下游的消息队列
当然，与此同时，我们需要投入精力去维护 canal 的高可用和稳定性。
如果你有留意观察很多数据库的特性，就会发现其实很多数据库都逐渐开始提供「订阅变更日志」的功能了，相信不远的将来，我们就不用通过中间件来拉取日志，自己写程序就可以订阅变更日志了，这样可以进一步简化流程。
至此，我们可以得出结论，想要保证数据库和缓存一致性，推荐采用「先更新数据库，再删除缓存」方案，并配合「消息队列」或「订阅变更日志」的方式来做
主从延迟和延迟双删问题
到这里，还有 2 个问题，是我们没有重点分析过的。
第一个问题，还记得前面讲到的「先删除缓存，再更新数据库」导致不一致的场景么？
这里我再把例子拿过来让你复习一下：
2 个线程要并发「读写」数据，可能会发生以下场景：
- 线程 A 要更新 X = 2（原值 X = 1）
- 线程 A 先删除缓存
- 线程 B 读缓存，发现不存在，从数据库中读取到旧值（X = 1）
- 线程 A 将新值写入数据库（X = 2）
- 线程 B 将旧值写入缓存（X = 1）
最终 X 的值在缓存中是 1（旧值），在数据库中是 2（新值），发生不一致。
第二个问题：是关于「读写分离 + 主从复制延迟」情况下，缓存和数据库一致性的问题。
如果使用「先更新数据库，再删除缓存」方案，其实也发生不一致：
- 线程 A 更新主库 X = 2（原值 X = 1）
- 线程 A 删除缓存
- 线程 B 查询缓存，没有命中，查询「从库」得到旧值（从库 X = 1）
- 从库「同步」完成（主从库 X = 2）
- 线程 B 将「旧值」写入缓存（X = 1）
最终 X 的值在缓存中是 1（旧值），在主从库中是 2（新值），也发生不一致。
看到了么？这 2 个问题的核心在于：缓存都被回种了「旧值」。
那怎么解决这类问题呢？
最有效的办法就是，把缓存删掉。
但是，不能立即删，而是需要「延迟删」，这就是业界给出的方案：缓存延迟双删策略。
按照延时双删策略，这 2 个问题的解决方案是这样的：
解决第一个问题：在线程 A 删除缓存、更新完数据库之后，先「休眠一会」，再「删除」一次缓存。
解决第二个问题：线程 A 可以生成一条「延时消息」，写到消息队列中，消费者延时「删除」缓存。
这两个方案的目的，都是为了把缓存清掉，这样一来，下次就可以从数据库读取到最新值，写入缓存。
但问题来了，这个「延迟删除」缓存，延迟时间到底设置要多久呢？
- 问题1：延迟时间要大于「主从复制」的延迟时间 -》防止这个过程中依旧有线程从旧从库里面读取脏数据
- 问题2：延迟时间要大于线程 B 读取数据库 + 写入缓存的时间-》否则可能没法删除旧的缓存
但是，这个时间在分布式和高并发场景下，其实是很难评估的。
很多时候，我们都是凭借经验大致估算这个延迟时间，例如延迟 1-5s，只能尽可能地降低不一致的概率。
所以你看，采用这种方案，也只是尽可能保证一致性而已，极端情况下，还是有可能发生不一致。
所以实际使用中，我还是建议你采用「先更新数据库，再删除缓存」的方案，同时，要尽可能地保证「主从复制」不要有太大延迟，降低出问题的概率。
可以做到强一致吗？
看到这里你可能会想，这些方案还是不够完美，我就想让缓存和数据库「强一致」，到底能不能做到呢？
其实很难。
要想做到强一致，最常见的方案是 2PC、3PC、Paxos、Raft 这类一致性协议，但它们的性能往往比较差，而且这些方案也比较复杂，还要考虑各种容错问题。
相反，这时我们换个角度思考一下，我们引入缓存的目的是什么？
没错，性能。
一旦我们决定使用缓存，那必然要面临一致性问题。性能和一致性就像天平的两端，无法做到都满足要求。
而且，就拿我们前面讲到的方案来说，当操作数据库和缓存完成之前，只要有其它请求可以进来，都有可能查到「中间状态」的数据。
所以如果非要追求强一致，那必须要求所有更新操作完成之前期间，不能有「任何请求」进来。
虽然我们可以通过加「分布锁」的方式来实现，但我们也要付出相应的代价，甚至很可能会超过引入缓存带来的性能提升。
所以，既然决定使用缓存，就必须容忍「一致性」问题，我们只能尽可能地去降低问题出现的概率。
同时我们也要知道，缓存都是有「失效时间」的，就算在这期间存在短期不一致，我们依旧有失效时间来兜底，这样也能达到最终一致。
总结
好了，总结一下这篇文章的重点。
1、想要提高应用的性能，可以引入「缓存」来解决
2、引入缓存后，需要考虑缓存和数据库一致性问题，可选的方案有：「更新数据库 + 更新缓存」、「更新数据库 + 删除缓存」
3、更新数据库 + 更新缓存方案，在「并发」场景下无法保证缓存和数据一致性，解决方案是加「分布锁」，但这种方案存在「缓存资源浪费」和「机器性能浪费」的情况
4、采用「先删除缓存，再更新数据库」方案，在「并发」场景下依旧有不一致问题，解决方案是「延迟双删」，但这个延迟时间很难评估
5、采用「先更新数据库，再删除缓存」方案，为了保证两步都成功执行，需配合「消息队列」或「订阅变更日志」的方案来做，本质是通过「重试」的方式保证数据最终一致
6、采用「先更新数据库，再删除缓存」方案，「读写分离 + 主从库延迟」也会导致缓存和数据库不一致，缓解此问题的方案是「延迟双删」，凭借经验发送「延迟消息」到队列中，延迟删除缓存，同时也要控制主从库延迟，尽可能降低不一致发生的概率
后记
图片资源参考知乎上的一位大佬
目录结构划分有一定参考,语言使用自己的理解尽量复述,总结部分参考原文章