Redis高级篇之缓存一致性详细教程

文章目录

  • 0 前言
  • 1.缓存双写一致性的理解
    • 1.1 缓存按照操作来分
  • 2. 数据库和缓存一致性的几种更新策略
    • 2.1 可以停机的情况
    • 2.2 我们讨论4种更新策略
    • 2.3 解决方案
  • 总结

0 前言

  缓存一致性问题在工作中绝对没办法回避的问题,比如:在实际开发过程中,通常添加把权限菜单存在缓存中,而用户登录成功以后获取的都是缓存中的权限菜单,当发现用户没有权限,想要添加时,已经添加上了,但是用户却查不出该权限,这说明添加只保存在数据中,并没有同步数据到缓存中,这就是本章节要讨论的缓存双写死一致性问题。
  而在找工作面试时,或遇到的问题如下:

  • 你只要用缓存,就可能涉及到redis缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题?
  • 双写一致性,你先动缓存redis还是数据库MySQL哪一个?why?
  • 延时删除你做过吗?会有哪些问题?
  • 有这么一种情况,微服务查询redis无 MySQL有,为保证数据双写一致性回写redis你需要注意什么?双检加锁策略你了解过吗?如何尽量避免缓存击穿?
  • redis和MySQL双写100%会出纰漏,做不到强一致性,你如何保证最终一致性?

1.缓存双写一致性的理解

  如下图所示,数据库中,缓存一致性问题,简单的说就是,数据库中的数据和缓存中的数据保持一致性。通常在开发时,查找数据是,先找缓存,如果缓存没有数据则查找数据库。
  查找流程一共分为三个步骤:
  1.缓存里有数据,直接返回
  2.缓存里无数据,查找数据库。
  3.从数据库中查找数据后,数据回写Redis,保持数据两边一致。
  其中,Redis挡在前面起到保护数据库的作用。因为数据库支持的并发量和Redis支持的并发量不是一个等级的。至于Redis为什么能够支持那么多的并发量,可去看看我之前写过的相关文章。Redis高阶篇之Redis单线程与多线程
在这里插入图片描述
  总之简单一句话,如果redis中有数据,​ 需要和数据库中的值相同。如果redis中无数据,​ 数据库中的值要是最新值,且准备回写redis。

1.1 缓存按照操作来分

  1.只读缓存
  2.读写缓存

  • 同步直写策略
    写数据库之后也同步写redis缓存,缓存和数据库中的数据一致;
    对于读写缓存来说,要想保证缓存和数据库中的数据一致,就要采用同步直写策略
  • 异步缓写策略
    正常业务中,MySQL数据变了,但是可以在业务上容许出现一定时间后才作用于redis,比如仓库、物流系统
    异常情况出现了, 不得不将失败的动作重新修补,有可能需要借助kafka或者RabbitMQ等消息中间件,实现重试重写
  • 采用双检加锁策略
    多个线程同时去查询数据库的这条数据,那么我们可以在第一个查询数据的请求上使用一个互斥锁来锁住它。其他的线程走到这一步拿不到锁就等着,等第一个线程查询到了数据,然后做缓存。后面的线程进来发现已经有缓存了,就直接走缓存。具体代码如下所示,仅供参考。
public User findUserById(Integer id){User user = null ;String key = CACHE_KEY_USER+iduser = redisTemplate.opsForValue.get(key);if(user  == null){// 2.高并发场景使用,进来先加锁,保证一个请求操作,让外面的线程等待,避免击穿数据库。synchronized(UserService.class){user = redisTemplate.opsForValue.get(key);if(user ==null){user = userMapper.selectByPrimaryKey(id);if(user == null){//3.1  redis和数据库  都无数据// 你具体细化,防止多次穿透,我们业务规定,记录一下这个null值的key,			   列入黑名单或者记录异常return user;}else{// 3.2 数据库里有数据,需要将数据回写到redis,保证下一次命中redisTemplate.opsForValue.setIfAbsent(key,user,7L,TimeUnit.DAYS);}}}}return user;
}

2. 数据库和缓存一致性的几种更新策略

  基本准则:总之,我们要达到最终一致性的目的。
  给缓存设置过期时间,定期清理缓存并回写,是保证最终一致性的解决方案。
  我们可以对存入缓存的数据设置过期时间,所有的写操作以数据库为准,对缓存操作只是尽最大努力即可。也就是说如果数据库写成功,缓存更新失败,那么只要到达过期时间,则后面的读请求自然会从数据库中读取新值然后回填缓存,达到一致性,切记,要以mysql的数据库写入库为准。
  上述方案和后续落地案例是调研后的主流+成熟的做法,但是考虑到各个公司业务系统的差距,不是100%绝对正确,不保证绝对适配全部情况,需要自己酌情选择打法,合适自己的最好。

2.1 可以停机的情况

  挂牌报错,凌晨升级,温馨提示,服务降级;
  单线程,这样重量级的数据操作最好不要多线程;

2.2 我们讨论4种更新策略

  1. 先更新数据库,在更新缓存,本文中在高并发的系统下不建议使用。原因是线程的执行顺序快慢先后顺序问题,造成了缓存存了脏数据。具体案例问题描述如下:
异常问题1

1 先更新mysql的某商品的库存,当前商品的库存是100,更新为99个。
2 先更新mysql修改为99成功,然后更新redis。
3. 此时假设异常出现,更新redis失败了,这导致mysql里面的库存是99而redis里面的还是100。
4.上述发生,会让数据库里面和缓存redis里面数据不一致,读到redis脏数据

异常问题2

【先更新数据库,再更新缓存】﹐A、B两个线程发起调用 【正常逻辑】
1 A update mysql 100
2 A update redis 100
3 B update mysql 80
4 B update redis 80
【异常逻辑】 多线程环境下,A、B两个线程有快有慢,有前有后有并行
1 A update mysql 100
3 B update mysql 80
4 B update redis 80
2 A update redis 100
最终结果,mysql和lredis数据不一致,o(T_T)o, mysql80,redis100

  2.先更新缓存,再更新数据库
  不推荐,业务上一般把MySQL作为底单数据库 ,保证最后解释。

[先更新缓存,再更新数据库],A、B两个线程发起调用 [正常逻辑]
1 A update redis 100
2 A update mysql 100
3 B update redis 80
4 B update mysql 80
[异常逻辑]多线程环境下,A. B两个线程有快有慢有并行
1 A update redis 100
3 B update redis 80
2 B update mysq| 80
4 A update mysql 100
mysql 100,redis 80

  3.× 先删除缓存,在更新数据库
  不推荐使用,已经很接近下面要讲的延迟双删了 ,步骤分析,先删除缓存,再更新数据库。异常问题如下描述:

1 A线程先成功删除了redis里面的数据,然后去更新mysql,此时mysql正在更新中,还没有结束。(比如网络延时)
B突然出现要来读取缓存数据。
2 此时redis里面的数据是空的,B线程来读取,先去读redis里数据(已经被A线程delete掉了),此处出来2个问题:
2.1 B从mysq|获得了旧值 B线程发现redis里没有(缓存缺失)马上去mysql里面读取,从数据库里面读取来的是旧值。
2.2 B会把获得的旧值写回redis 获得旧值数据后返回前台并回写进redis(刚被A线程删除的旧数据有极大可能早被写回了)。 3 A线程更新完mysql,发现redis里面的缓存是脏数据,A线程直接懵逼了,o(T_ .τ)o
两个并发操作,一个是更新操作,另一个是查询操作,A删除缓存后,B查询操作没有命中缓存,B先把老数据读出来后放到缓存中,然后A更新操作更新了数据库。
于是,在缓存中的数据还是老的数据,导致缓存中的数据是脏的,而且还一直这样脏下去了。 4总结流程:
(1)请求A进行写操作,删除redis缓存后,工作正在进行中,更新mysql… A还么有彻底更新完mysql,还没commit
(2)请求B开工查询,查询redis发现缓存不存在(被A从redis中删除了)
(3)请求B继续,去数据库查询得到了mysq中的旧值(A还没有更新完) (4)请求B将旧值写回redis缓存
(5)请求A将新值写入mysql数据库 上述情况就会导致不一致的情形出现。

  先删除缓存,再更新数据库:如果数据库更新失败或超时或返回不及时,导致B线程请求访问缓存时发现redis里面没数据,缓存缺失,B再去读取mysql时,从数据库中读取到旧值,还写回redis, 导致A白干了。

  4.先更新数据库,再删除缓存。
  目前用的比较多,但是也会有异常情况。异常问题如下表格所示:
在这里插入图片描述
  先更新数据库,在删除缓存,假如缓存删除失败或者来不及删除,导致请求再次访问redis时缓存命中,读取到的是缓存的旧值。

2.3 解决方案

  采用延时双删策略。
  加上sleep的这段时间,就是为了让线程B能够先从数据库读取数据,再把缺失的数据写入缓存,然后,线程A再进行删除。所以,线程A sleep的时间,就需要大于线程B读取数据再写入缓存的时间。这样一来,其它线程读取数据时,会发现缓存缺失,所以会从数据库中读取最新值。因为这个方案会在第一次删除缓存值后,延迟一段时间再次进行删除,所以我们也把它叫做“延迟双删”。
这个删除该休眠多久呢?线程A sleep的时间,就需要大于线程B读取数据再写入缓存的时间。

  这个时间怎么确定呢? 第一种方法: 在业务程序运行的时候,统计下线程读数据和写缓存的操作时间,自行评估自己的项目的读数据业务逻辑的耗时,以此为基础来进行估算。然后写数据的休眠时间则在读数据业务逻辑的耗时基础上加百毫秒即可。 这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。 第二种方法: 新启动一个后台监控程序,比如后面要讲解的WatchDog监控程序,会加时。
  这种同步淘汰策略,吞吐量降低怎么办?

  • 业务指导思想
    微软云:点击链接跳转
    后面的阿里巴巴canal也是类似的思想
    订阅binlog程序在MySQL中有现成的中间件叫canal,可以完成订阅binlog日志的功能。

  • 解决方案
    1.可以把要删除的缓存值或者是要更新的数据库值暂存到消息队列中(例如使用Kafka/RabbitMQ等)。
    2.当程序没有能够成功地删除缓存值或者是更新数据库值时,可以从消息队列中重新读取这些值,然后再次进行删除或更新。
    3.如果能够成功地删除或更新,我们就要把这些值从消息队列中去除,以免重复操作,此时,我们也可以保证数据库和缓存的数据一致了,否则还需要再次进行重试 4 如果重试超过的一定次数后还是没有成功,我们就需要向业务层发送报错信息了,通知运维人员。

  • 类似经典的分布式事务问题,只有一个权威答案,只能达到最终一致性。
    流量充值,先下发短信实际充值可能滞后5分钟,可以接受。
    电商发货,短信下发但是物流明天见。

总结

  方案如何选择?利弊如何
  在大多数业务场景下, 个人建议是,优先使用先更新数据库,再删除缓存的方案(先更库→后删存)。理由如下:
  1.先删除缓存值再更新数据库,有可能导致请求因缓存缺失而访问数据库,给数据库带来压力导致打满mysql。
  2.如果业务应用中读取数据库和写缓存的时间不好估算,那么,延迟双删中的等待时间就不好设置。
  多补充一句:如果使用先更新数据库,再删除缓存的方案
  如果业务层要求必须读取一致性的数据,那么我们就需要在更新数据库时,先在Redis缓存客户端暂停并发读请求,等数据库更新完、缓存值删除后,再读取数据,从而保证数据一致性,这是理论可以达到的效果,但实际,不推荐,因为真实生产环境中,分布式下很难做到实时一致性,一般都是最终一致性。
在这里插入图片描述
  ,本篇只介绍了缓存数据一致性问题,下一篇就可以到数据一致性的落地了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/194.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

python爬虫实现自动获取论文GB 7714引用

在写中文论文、本硕博毕业设计的时候要求非常严格的引用格式——GB 7714引用。对于普通学生来说都是在google scholar上获取,一个一个输入点击很麻烦,就想使用python完成这个自动化流程,实现批量的倒入论文标题,导出引用。 正常引…

redis v6.0.16 安装 基于Ubuntu 22.04

redis安装 基于Ubuntu 22.04 本文演示如何在ubuntu22.04下,安装redis v6.0.16,并配置测试远程访问。 Step1 更新环境 sudo apt updateStep2 安装redis sudo apt install redis-server -yStep3 启动 sudo systemctl restart redissudo systemctl sta…

✨基于python实现的文档管理系统✨

本项目是使用Django和layui实现的一个文档转换系统,支持各种文档的相互转换 📄 PPT转Word 📑 PDF转Word 📚 合并PDF 📜 Word转PDF 系统支持用户注册、登录,还能管理你的转换任务: 🔄…

ES索引:索引管理

索引管理 再讲索引(Index)前,我们先对照下 ElasticSearch Vs 关系型数据库: PUT /customer/_doc/1 {"name": "DLBOY" }系统默认是自动创建索引的 如果我们需要对这个建立索引的过程做更多的控制&#xff1a…

Linux安装Dcoker

目录 1、卸载(可选) 2、安装docker 3、启动docker 4、配置镜像加速 1、卸载(可选) 如果之前安装过旧版本的Docker,可以使用下面命令卸载: yum remove docker \docker-client \docker-client-latest \…

智能无损网络技术详解

什么是智能无损网络? 智能无损网络是一种集流量控制与拥塞控制于一体的先进技术,旨在提升网络性能,降低时延。同时,它通过智能无损存储网络等技术实现网络和应用系统的优化融合。该技术为AI人工智能、集中式/分布式存储以及HPC等应…

基于SSM+小程序的购物管理系统1

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1、项目介绍 基于SSM小程序的购物管理系统1,可以实现首页、个人中心、商品分类管理、商品信息管理、特价商品管理、用户管理、留言板管理、系统管理、订单管理等功能。方便用户对首页、商品…

楼梯区域分割系统:Web效果惊艳

楼梯区域分割系统源码&数据集分享 [yolov8-seg-FocalModulation&yolov8-seg-GFPN等50全套改进创新点发刊_一键训练教程_Web前端展示] 1.研究背景与意义 项目参考ILSVRC ImageNet Large Scale Visual Recognition Challenge 项目来源AAAI Global Al l…

ROS2入门学习——ROS在机器人中的运行

一、入门级基础平台TurtleBot TurtleBot 是 ROS 中重要且资源丰富的机器人之一,特别适合入门级机器人爱好者提供基础平台。用户可以直接利用其自带的软硬件,专注于应用程序的开发。TurtleBot 随着 ROS 的发展,一直处于开发前沿。 TurtleBot…

智谱发布AI助理,帮人类敲响AGI的大门

人工智能之父John McCarthy曾说:“只要AI可以开始正常工作,就不会有人再把它当AI了。”如今,这一预言正在逐渐变为现实。 10月25日,智谱AI推出了自主智能体AutoGLM,能够模拟人类操作手机,执行各种任务。 …

Profinet、Ethernet/IP 工业以太网无线通信解决方案

在工业现场,我们常常会面临这样的困扰:两个PLC之间、PLC 跟远程IO之间或者PLC 跟伺服之间由于种种原因不方便布线,严重影响了通讯效率和生产进程。为了解决这一难题,三格电子设计了一款工业以太网无线网桥,这款无线网桥…

重塑未来,开源AI数字人系统引领个性化语音新纪元!AigcPanel v0.03开启公测

你是否曾梦想拥有一个能够与你对话、与你共鸣的AI数字人伙伴?现在,这一切都不再是幻想!我们自豪地推出——全新的开源AI数字人系统,一个集视频合成、声音合成、声音克隆与模型管理于一体的创新平台,让你轻松打造专属的…

js逆向-模拟加密

实战七麦数据: 1.寻找加密入口 尝试搜索的方法: 那只能使用跟栈的方法,进入send发包位置: 打上断点,寻找加密入口,前面是发包分包,promise注意到是一个异步操作,看是否在此加密&…

Kafka社区KIP-500中文译文(去除ZooKeeper)

原文链接:KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum - Apache Kafka - Apache Software Foundation 译者:关于Kafka3.x版本最大的一个变化即是解除了对ZooKeeper的依赖,而本文的作者是大神Colin,他高屋建瓴…

【计算机网络教程】课程 章节测试1 计算机网络概述

一. 单选题(共16题) 1 【单选题】以下关于TCP/IP参考模型缺点的描述中,错误的是( )。 A、在服务、接口与协议的区别上不很清楚 B、网络接口层本身并不是实际的一层 C、它不能区分数据链路和物理层 D、传输层对…

(蓝桥杯C/C++)——常用库函数

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 一、 二分查找 1.二分查找的前提 2.binary_ search函数 3.lower_bound和upper_bound 二、排序 1.sort概念 2.sort的用法 3.自定义比较函数 三、全排列 1.next p…

软考:24年上半年选择题

软件测试的目的是降低风险,无法100%的证明被测对象的正确性。 数字孪生: EAI企业应用集成: 线性回归技术: 嵌入式系统实时特性: 计算机信息安全:最安全的是访问验证保护级,最不安全的是用…

【Linux】从零开始使用多路转接IO --- poll

碌碌无为,则余生太长; 欲有所为,则人生苦短。 --- 中岛敦 《山月记》--- 从零开始使用多路转接IO 1 前言1 poll接口介绍3 代码编写4 总结 1 前言 上一篇文章我们学习了多路转接中的Select,其操作很简单,但有一些缺…

系统架构设计师-未来信息综合技术(2)

一、机器人技术 森政弘与合田周平提出的:“机器人是一种具有移动性、个体性、智能性、通用性、半机械半人性、自动性、奴隶性等7个特征的柔性机器。” 从这一定义出发,森政弘又提出了用自动性、智能性、个体性、半机械半人性、通用性、移动性、信息性、柔性、有限性…

知识吾爱纯净版小程序系统 leibiao SQL注入漏洞复现(XVE-2024-30663)

0x01 产品简介 知识吾爱纯净版小程序系统是一款基于微信小程序平台开发的知识付费应用,旨在帮助用户快速建立自己的知识付费平台,实现支付变现和流量主收益。它提供了简洁明了的用户界面和良好的用户体验,同时注重用户隐私保护,确保用户信息的安全存储和传输。 0x02 漏洞…