批量缓存模版

批量缓存模版

缓存通常有两种使用方式,一种是Cache-Aside,一种是cache-through。也就是旁路缓存和缓存即数据源。

一般一种用于读,另一种用于读写。参考后台服务架构高性能设计之道。

最典型的Cache-Aside的样例:

//读操作
data = Cache.get(key);
if(data == NULL)
{data = SoR.load(key);Cache.set(key, data);
}
return data;

比如Spring-Cache就是Cache-Aside,只需要写上load逻辑,加上注解,就可以实现Cache-Aside缓存的效果了。

但是这种缓存存在一个缺陷,如果我们需要获取一批用户信息,碰巧用户的缓存全都失效了(也就是缓存雪崩),就需要去数据库中全部拉出来,那么这样一个本来性能很高的循环,就等同于全部查了数据库,缓存一点儿作用都没了。

批量缓存查询

举个栗子🌰:

  1. 批量请求数据

    • 这里的上方绿色矩形框表示一批需要查询的数据项(例如用户ID 1, 2, 3, 4)。
  2. 批量从缓存获取数据

    • 请求首先进入缓存层(例如 Redis),通过批量 GET 操作尝试获取所有请求的数据。
    • 如果缓存中存在对应数据,则会返回相应的结果;如果缓存中缺少部分数据(例如在缓存中没有 3),那么这些数据就会被标记为“未命中”。
    • 图中左侧绿色矩形框 1, 2, 4 表示缓存中命中的数据部分。
  3. 批量从数据库加载缺失的数据

    • 对于缓存中未命中的数据(例如 3),系统会通过批量 LOAD 操作从数据库加载。
    • 这个步骤不仅可以填充当前请求所需的数据,还可以将这些数据存入缓存中,以便后续请求可以直接从缓存中获取,减少对数据库的访问。
  4. 将结果返回给调用方

    • 最终返回完整的数据结果(包括从缓存获取的数据和从数据库加载的数据),完成整个批量查询的流程。
/*** 获取用户信息,盘路缓存模式*/
public Map<Long, User> getUserInfoBatch(Set<Long> uids) {//批量组装keyList<String> keys = uids.stream().map(a -> RedisKey.getKey(RedisKey.USER_INFO_STRING, a)).collect(Collectors.toList());//批量getList<User> mget = RedisUtils.mget(keys, User.class);Map<Long, User> map = mget.stream().filter(Objects::nonNull).collect(Collectors.toMap(User::getId, Function.identity()));//发现差集——还需要load更新的uidList<Long> needLoadUidList = uids.stream().filter(a -> !map.containsKey(a)).collect(Collectors.toList());if (CollUtil.isNotEmpty(needLoadUidList)) {//批量loadList<User> needLoadUserList = userDao.listByIds(needLoadUidList);Map<String, User> redisMap = needLoadUserList.stream().collect(Collectors.toMap(a -> RedisKey.getKey(RedisKey.USER_INFO_STRING, a.getId()), Function.identity()));RedisUtils.mset(redisMap, 5 * 60);//加载回redismap.putAll(needLoadUserList.stream().collect(Collectors.toMap(User::getId, Function.identity())));}return map;
}

对这段代码进行抽象,找到可以进行复用的地方

黄色代表可复用的流程,红色代表需要根据不同的数据进行单独的实现。

首先定义一个顶层的抽象接口

public interface BatchCache<IN, OUT> {/*** 获取单个*/OUT get(IN req);/*** 获取批量*/Map<IN, OUT> getBatch(List<IN> req);/*** 修改删除单个*/void delete(IN req);/*** 修改删除多个*/void deleteBatch(List<IN> req);
}

再确定骨架

/*** Description: Redis String类型的批量缓存框架* 这是一个抽象类,用于实现基于Redis的批量缓存框架。* 该框架提供了缓存获取、批量获取、删除、批量删除的功能。*/
public abstract class AbstractRedisStringCache<IN, OUT> implements BatchCache<IN, OUT> {private Class<OUT> outClass; // OUT类型的Class对象,用于反射操作,方便从Redis读取数据/*** 构造方法* 利用反射机制获取泛型OUT的具体类型。* 这样在Redis操作时可以知道OUT类型,用于数据转换。*/protected AbstractRedisStringCache() {ParameterizedType genericSuperclass = (ParameterizedType) this.getClass().getGenericSuperclass();this.outClass = (Class<OUT>) genericSuperclass.getActualTypeArguments()[1];}/*** 抽象方法:获取缓存键* 子类需要实现,用于根据请求参数生成唯一的Redis缓存键。* @param req 请求参数* @return Redis键*/protected abstract String getKey(IN req);/*** 抽象方法:获取缓存的过期时间* 子类需要实现,定义缓存的有效期。* @return 过期时间(以秒为单位)*/protected abstract Long getExpireSeconds();/*** 抽象方法:批量加载数据* 当缓存中没有对应数据时,通过该方法从数据库或其他存储加载数据。* @param req 请求参数列表* @return 加载后的数据映射*/protected abstract Map<IN, OUT> load(List<IN> req);/*** 单个数据的缓存获取方法* 使用getBatch方法来获取单个数据的缓存内容。* @param req 单个请求参数* @return 单个请求对应的OUT对象*/@Overridepublic OUT get(IN req) {return getBatch(Collections.singletonList(req)).get(req);}/*** 批量获取缓存数据的方法* 该方法尝试从缓存中批量获取请求数据,缺失的数据将从数据库加载并写入缓存。* @param req 请求参数列表* @return 返回请求参数和对应OUT对象的映射*/@Overridepublic Map<IN, OUT> getBatch(List<IN> req) {if (CollectionUtil.isEmpty(req)) { // 防御性编程,避免空请求列表的处理return new HashMap<>();}// 去重,避免重复的请求参数req = req.stream().distinct().collect(Collectors.toList());// 组装Redis键列表List<String> keys = req.stream().map(this::getKey).collect(Collectors.toList());// 批量从Redis获取缓存数据List<OUT> valueList = RedisUtils.mget(keys, outClass);// 计算差集,找出缓存中未命中的请求List<IN> loadReqs = new ArrayList<>();for (int i = 0; i < valueList.size(); i++) {if (Objects.isNull(valueList.get(i))) { // 如果某项数据未命中缓存,则添加到loadReqsloadReqs.add(req.get(i));}}Map<IN, OUT> load = new HashMap<>();// 如果有未命中缓存的数据,则从数据库加载并写入缓存if (CollectionUtil.isNotEmpty(loadReqs)) {load = load(loadReqs); // 批量从数据库加载数据Map<String, OUT> loadMap = load.entrySet().stream().map(a -> Pair.of(getKey(a.getKey()), a.getValue())) // 为每个数据生成对应的Redis键值对.collect(Collectors.toMap(Pair::getFirst, Pair::getSecond));RedisUtils.mset(loadMap, getExpireSeconds()); // 批量写入Redis,设置过期时间}// 将缓存命中和重新加载的数据合并成最终结果Map<IN, OUT> resultMap = new HashMap<>();for (int i = 0; i < req.size(); i++) {IN in = req.get(i);OUT out = Optional.ofNullable(valueList.get(i)) // 优先使用缓存中的数据.orElse(load.get(in)); // 如果缓存中没有,则使用加载的数据resultMap.put(in, out); // 将结果放入resultMap}return resultMap;}/*** 删除单个数据的缓存* 使用deleteBatch方法删除单个数据的缓存* @param req 单个请求参数*/@Overridepublic void delete(IN req) {deleteBatch(Collections.singletonList(req));}/*** 批量删除缓存数据的方法* @param req 请求参数列表*/@Overridepublic void deleteBatch(List<IN> req) {// 根据请求参数生成对应的Redis键列表List<String> keys = req.stream().map(this::getKey).collect(Collectors.toList());RedisUtils.del(keys); // 从Redis批量删除这些键}
}

具体的实现类

@Component
public class UserInfoCache extends AbstractRedisStringCache<Long, User> {@Autowiredprivate UserDao userDao;@Overrideprotected String getKey(Long uid) {return RedisKey.getKey(RedisKey.USER_INFO_STRING, uid);}@Overrideprotected Long getExpireSeconds() {return 5 * 60L;}@Overrideprotected Map<Long, User> load(List<Long> uidList) {List<User> needLoadUserList = userDao.listByIds(uidList);return needLoadUserList.stream().collect(Collectors.toMap(User::getId, Function.identity()));}
}

骨架通过实现类的getKey方法来获取到具体的Redis Key,然后实现接口的复用。

缓存雪崩

缓存雪崩的场景解决方案:

  1. 缓存失效时间分布随机
  2. 缓存预热,在系统启动阶段去mysql拉一次数据load到redis

缓存击穿

缓存击穿的场景解决方案:

空缓存+分布式锁

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/11310.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

09 Oracle数据拯救:Flashback Technologies精细级数据恢复指南

文章目录 09 Oracle数据拯救&#xff1a;Flashback Technologies精细级数据恢复指南一、Flashback Technologies概览二、Flashback Query&#xff1a;查询过去的数据三、Flashback Table&#xff1a;恢复整个表四、Flashback Database&#xff1a;恢复整个数据库五、总结与最佳…

BIST(Built-in Self-Test,内建自测试)学习笔记

参考资料: 内建自测试&#xff08;Built-in Self-Test&#xff0c;简称BIST&#xff09;详解_built in self test-CSDN博客 芯片测试术语 &#xff0c;片内测试(BIST)&#xff0c;ATE测试-CSDN博客 可能是DFT最全面的介绍--BIST - 知乎 (zhihu.com) 汽车功能安全--TC3xx LB…

three.js 杂记

在Three.js中&#xff0c;Object3D是所有3D对象的基类&#xff0c;而Group是Object3D的一个子类。Group的目的是为了简化处理多个对象的集合。当你将对象添加到Group中时&#xff0c;它们会以一个单元格的形式被处理&#xff0c;参与Group的某些操作&#xff0c;例如位置更新、…

go函数传值是值传递?还是引用传递?slice案例加图解

先说下结论 Go语言中所有的传参都是值传递&#xff08;传值&#xff09;&#xff0c;都是一个副本&#xff0c;一个拷贝。 值语义类型&#xff1a;参数传递的时候&#xff0c;就是值拷贝&#xff0c;这样就在函数中就无法修改原内容数据。 基本类型&#xff1a;byte、int、bool…

穿越时空的全球时钟:一个实时多时区显示的网页应用

引言 在当今这个全球化时代&#xff0c;人们经常需要与世界各地的朋友、同事或客户进行沟通。然而&#xff0c;由于时差的存在&#xff0c;找到一个合适的沟通时间往往成为一大挑战。为了解决这一问题&#xff0c;我们开发了一个名为“全球时钟”的网页应用&#xff0c;它能够…

本地部署免费开源助手Ollama

Ollama 安装 安装ollama 官方网站&#xff1a;https://ollama.com/download 2. 安装成功 3. 运行模型 模型&#xff1a;https://ollama.com/library 运行&#xff1a; ollama run llama3.2:3b Mac 、Linux 版本安装类似。 Open-WebUI界面安装 openwebui官网&#xff1a;http…

three.js杂记

空间 - 位置变换&#xff1a; // 假设有一个Three.js的对象: object3D // 存储矩阵位置 const matrix object3D.matrix.clone(); const matrixArray matrix.toArray(); // 转换为数组 // 之后&#xff0c;当你需要恢复位置时 object3D.matrix.fromArray(matrixArray); …

通过DNS服务器架构解释DNS请求过程

在前面的章节,这里,基于PCAP数据包和RFC文档详细介绍了DNS请求和响应的每个字段的含义。但是在现实的网络世界中,DNS请求和响应的数据包是怎么流动的,会经过哪些设备。本文将着重说明一下目前网络空间中DNS请求和响应的流动过程。 当前网络空间中比较常见DNS请求的流程如下…

HBase使用create创建表时报错ERROR: KeeperErrorCode = NoNode for /hbase/master

场景模拟 1. 正常情况 模拟ERROR: KeeperErrorCode NoNode for /hbase/master错误场景。 正常情况下创建hbase表如下图所示。 2. 删除hbase集群的zk节点 进入zookeeper客户端。 zkCli.sh删除hbase的zk节点。 deleteall /hbase退出zookeeper客户端。 quit3. 重启hbase集…

软件分享丨火绒应用商店

【资源分享】 资源名&#xff1a;火绒应用商店 官方网址&#xff1a;点击跳转 火绒应用商店是由火绒安全推出的一款独立软件。它提供了海量的应用程序&#xff0c;涵盖办公、社交、游戏、视频、工具等多种领域和类别&#xff0c;方便用户轻松找到所需的应用并进行一键下载安装…

在线考试系统demo页面

<!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>在线考试系统</title><link rel"styl…

从0到1基于LangChain制作一个AI猫娘

前言&#xff1a; 看到B站上的AIVtuber的项目落地了&#xff0c;就心血来潮想制作一个AI的猫娘供自己使用&#xff0c;顺便出一个简单的教程&#xff0c;跳过理论&#xff0c;直接实践&#xff0c;作者也还在学习摸索中&#xff0c;所以有错误可以直接在评论区指正。&#xff0…

前端---高效工具(一) : NVM的使用

一、NVM用途 方便快捷 管理和切换各个 node版本。现在前端项目Vue2与Vue3很多项目要求的node版本不一致导致的。 二、安装 如果有安装nodejs&#xff0c;按一下步骤清理环境 1.卸载应用程序的 nodejs 2.删除环境变量中nodejs的配置 3.删除C:\Users\Administrator 中最下面…

反序列化漏洞浅析

Apache InLong 是开源的高性能数据集成框架&#xff0c;支持数据接入、数据同步和数据订阅&#xff0c;同时支持批处理和流处理&#xff0c;方便业务构建基于流式的数据分析、建模和应用。浅析Apache InLong < 1.12.0 JDBC反序列化漏洞&#xff08;CVE-2024-26579&#xff0…

三周精通FastAPI:39 用FastAPI CLI命令行程序管理FastAPI项目

官方文档&#xff1a;https://fastapi.tiangolo.com/zh/fastapi-cli/ FastAPI CLI FastAPI CLI 是一个命令行程序&#xff0c;你可以用它来部署和运行你的 FastAPI 应用程序&#xff0c;管理你的 FastAPI 项目&#xff0c;等等。 当你安装 FastAPI 时&#xff08;例如使用 p…

Bean实例化

Bean有3种实例化方法 1.通过无参构造方法实例化 假如我们有以下结构&#xff1a; 这里我们在无参构造方法种打印字符串&#xff1a; 然后我们运行 可知&#xff0c;IoC管理bean进行实例化的时候是通过无参构造方法实例化的。 2.静态工厂实例化 假设我们有以下配置文件&…

【网络安全】线程安全分析及List遍历

未经许可,不得转载。 文章目录 线程线程安全问题遍历List的方式方式一方式二方式三方式四(Java 8)方式五(Java 8 Lambda)遍历List的同时操作ListVector是线程安全的?使用线程安全的CopyOnWriteArrayList使用线程安全的List.forEach线程 线程是程序执行的最小单位。一个程…

ReactPress 安装指南:从 MySQL 安装到项目启动

ReactPress Github项目地址&#xff1a;https://github.com/fecommunity/reactpress 欢迎Star。 ReactPress 是一个基于 React 的开源发布平台&#xff0c;适用于搭建博客、网站或内容管理系统&#xff08;CMS&#xff09;。本文将详细介绍如何安装 ReactPress&#xff0c;包括…

caozha-whois(域名Whois查询源码)

caozha-whois&#xff0c;是一个采用原生PHP写的域名Whois查询模块&#xff0c;支持全球大部分域名的whois查询&#xff0c;支持中文域名在内的多种域名后缀&#xff0c;包括&#xff1a;.com&#xff0c;.net&#xff0c;.cn&#xff0c;.com.cn&#xff0c;.org&#xff0c;.…

2024 年(第 7 届)“泰迪杯”数据分析技能赛A 题 自动化生产线数据分析 完整代码结果分享

一、背景 随着信息技术的快速发展&#xff0c;工业自动化领域的智能控制系统日益完善。自动化生产线能够独立完成从物料输送到元件抓取&#xff0c;再到产品安装和质量检验的各个环节&#xff0c;这不仅极大提升了制造效率和产品质量&#xff0c;也有效降低了生产成本。 为了使…