CompletableFuture的allOf一定不要乱用!血泪史复盘

文章目录

  • 1. 到底遇到了什么问题?
  • 2. CountDownLatch搞起?
  • 3. allOf里面的坑
  • 4. 优化建议:

1. 到底遇到了什么问题?

最近看到组里面的同学遇到了这样的业务场景:

主线程需要异步并发调用多个接口,并且主线程需要等待线程全部执行完成之后,返回执行结果,业务流程如下:

这里面有一个注意点:一旦异步线程有一个失败,我主线程就不等待了,这种需求很常见,比如多线程拼装对象数据等等。那我们如何解决呢?

一定要坚持看完!细节往往决定成败,写代码也一样!!收获多多
在这里插入图片描述

2. CountDownLatch搞起?

此时有可能有可能第一时间会想到CountDownLatch,但是CountDownLatch本质内部是采用计数器,主线程一直调用await()阻塞等待,需要等待所有子线程执行完之后(不管成功或者失败)主线程才会往下执行,且主线程和子线程无法传递异常,并且需要注意异常的抛出。

这块可以参考之前写的CountDownLatch文章:

关于CountDownLatch的底层源码和闭坑指南,只看这一篇就够了!!

这里面有常见的坑一栏,可以重点看下,保你必有收获,所以CountDownLatch并不是最优方案。

这块很多同学会选用CompletableFuture来实现,因为CompletableFuture底层有丰富的任务编排和链式调用,并且此时肯定会有很多同学说CompletableFuture.allOf可以轻松实现。

此时如果你不自己去试试的话,八股文一背,此时你就被带偏了!!我们可以去看一下,在接下来会给出一个allOf的使用场景,把这个问题重现一下:

3. allOf里面的坑

场景:当有一批任务交给线程池执行,我们需要获取所有线程的返回结果。

首先定义一个并发执行器类:

public class CompletableFutureEngine {private final static ExecutorService executorService = Executors.newFixedThreadPool(4);/*** 创建并行任务并执行** @param list            数据源* @param function        API调用逻辑* @param exceptionHandle 异常处理逻辑* @return 处理结果列表*/public static <S, T> List<T> parallelFutureJoin(Collection<S> list, Function<S, T> function, Consumer<Throwable> exceptionHandle) {List<CompletableFuture<T>> completableFutures = list.stream().map(s -> CompletableFuture.supplyAsync(() -> function.apply(s))).collect(Collectors.toList());List<T> results = new ArrayList<>();try {CompletableFuture.allOf(completableFutures.toArray(new CompletableFuture[0])).join();for (CompletableFuture<T> completableFuture : completableFutures) {results.add(completableFuture.get());}} catch (Exception e) {if (e instanceof CompletionException) {if (e.getCause() != null) {exceptionHandle.accept(e.getCause());}}}return results;}}

调用方法:

public class EngineDemo {private static void sleep(long sleepTime) {try {Thread.sleep(sleepTime);} catch (InterruptedException e) {e.printStackTrace();}}private static void currentDate(String str) {// 创建一个Date对象,它包含了当前时间Date now = new Date();// 创建一个SimpleDateFormat对象,用于指定输出格式SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");// 使用format方法将Date对象格式化为字符串String currentTime = dateFormat.format(now);// 打印当前时间System.out.println(str + "是: " + currentTime);}public static void main(String[] args) {currentDate("执行前");List<Integer> numList = CompletableFutureEngine.parallelFutureJoin(Arrays.asList(1, 3, 5),num -> {sleep(num * 1000);if (num == 1) {throw new BusinessException("心别太大");}return num;}, e -> {if (e instanceof BusinessException) {System.out.println("BusinessException =" + e.getMessage());} else {System.out.println("Exception entrance");}});System.out.println(numList);currentDate("执行后");}
}

此时,你会发现,程序的执行时间为5秒钟,感觉似乎和想的不一样,因为在代码中,是根据num决定的休眠时间,因此在第一印象中,应该是第一秒执行完就会抛出异常。尴尬了,现在从日志看程序的执行时间是5秒,那我们看下原因:走起,那我们debug下代码:

你会发现当程序抛出异常的时候,发现传进来的三个CompletableFuture,不管是成功还是失败都执行完了。

这也就说明了当抛出异常后,allOf并不会及时感知异常,而是等所有任务都执行完之后才往下继续运行,那此处会有两种情况:

  1. 使用完allOf之后,还要去做流程编排,不去直接get的话,这种方式没有问题。
  2. 需要汇聚所有的子线程执行结果返回给主线程,这种allOf可能效率会低,因为需要等待所有的子线程执行完才会去返回最终的结果,那如果遇到主要一个子线程失败,执行就失败,就会导致执行时间短的失败了,但是有个任务执行时间很长,返回时间也会变长,从而导致主线程等待的时间变长.

那针对于第二种情况应该如何优化呢!!!继续往下看!!!

4. 优化建议:

可以用CompletableFutures.stream().map(CompletableFuture::join).collect(Collectors.toList()) 来代替 allOf。这个方法只要有一个子线程出现异常,主线程就会感知到异常,不用等待其他线程执行完。

优化后的并发执行器如下:

public class CompletableFutureEngine2 {/*** 创建并行任务并执行** @param list            数据源* @param function        API调用逻辑* @return 处理结果列表*/public static <S, T> List<T> parallelFutureJoin(Collection<S> list, Function<S, T> function, Consumer<Throwable> exceptionHandle) {List<CompletableFuture<T>> completableFutures = list.stream().map(s -> CompletableFuture.supplyAsync(() -> function.apply(s))).collect(Collectors.toList());List<T> results = null;try {results = completableFutures.stream().map(CompletableFuture::join).collect(Collectors.toList());} catch (Exception e) {if (e instanceof CompletionException) {if (e.getCause() != null) {exceptionHandle.accept(e.getCause());}}}return results;}
}

调用demo如下:

public class EngineDemo {private static void sleep(long sleepTime) {try {Thread.sleep(sleepTime);} catch (InterruptedException e) {e.printStackTrace();}}private static void currentDate(String str) {// 创建一个Date对象,它包含了当前时间Date now = new Date();// 创建一个SimpleDateFormat对象,用于指定输出格式SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");// 使用format方法将Date对象格式化为字符串String currentTime = dateFormat.format(now);// 打印当前时间System.out.println(str + "是: " + currentTime);}public static void main(String[] args) {currentDate("执行前");List<Integer> numList = CompletableFutureEngine2.parallelFutureJoin(Arrays.asList(1, 3, 5),num -> {sleep(num * 1000);if (num == 1) {throw new BusinessException("心别太大");}return num;}, e -> {if (e instanceof BusinessException) {System.out.println("BusinessException =" + e.getMessage());} else {System.out.println("Exception entrance");}});System.out.println(numList);currentDate("执行后");}
}

运行完之后,我们再去看下执行日志

你会发现,因为子线程的睡眠时间为传进来的num值,当num=1时,触发告警,因此主线程在等待一秒中就会感知到异常,郑如日志打印的时间间隔为1秒钟。

此时再去想想:那此时抛出异常时,num为3,5执行状态时怎么样的,再去debug一下触发异常这块代码:

你会发现当num=1抛出异常的时候,其他两个线程的执行状态还是未完成,这就是和allOf这个方法最大的区别。

是否感觉只有自己试验过才会有更大的收获,今天就先分享到这,后面干货多多!!

感觉对您有所启发的话,记得帮忙点赞,收藏加关注,并且分享给需要的小伙伴!!加油!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/147045.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

网络丢包定位记录(三)

网络IP层丢包 接口ip地址配置丢包 1. 本机服务不通&#xff0c;检查lo接口有没有配置地址是127.0.0.1&#xff1b; 2 .本机接收失败&#xff0c; 查看local路由表&#xff1a;ip r show table local|grep 子机ip地址&#xff1b;这种丢包一般会出现在多IP场景&#xff0c;子…

【RabbitMQ】消息分发、事务

消息分发 概念 RabbitMQ队列拥有多个消费者时&#xff0c;队列会把收到的消息分派给不同的消费者。每条消息只会发送给订阅该队列订阅列表里的一个消费者。这种方式非常适合扩展&#xff0c;如果现在负载加重&#xff0c;那么只需要创建更多的消费者来消费处理消息即可。 默…

springboot实战学习(6)(用户模块的登录认证)(初识令牌)(JWT)

接着上篇博客学习。上篇博客是在基本完成用户模块的注册接口的开发以及注册时的参数合法性校验的基础上&#xff0c;基本完成用户模块的登录接口的主逻辑。具体往回看了解的链接如下。 springboot实战学习笔记&#xff08;5&#xff09;(用户登录接口的主逻辑)-CSDN博客文章浏览…

回归预测 | Matlab实现ReliefF-XGBoost多变量回归预测

回归预测 | Matlab实现ReliefF-XGBoost多变量回归预测 目录 回归预测 | Matlab实现ReliefF-XGBoost多变量回归预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.ReliefF-xgboost回归预测代码&#xff0c;对序列数据预测性能相对较高。首先通过ReleifF对输入特征计算权…

AWS 管理控制台

目录 控制台主页 AWS 账户信息 AWS 区域 AWS 服务选择器 AWS 搜索 AWS CloudShell AWS 控制面板小部件 控制台主页 注册新的 AWS 账户并登录后&#xff0c;您将看到控制台控制面板。这是与各种 AWS 服务以及其他重要控制台组件进行交互的起点。控制面板由页面顶部的导航…

【笔记】1.3 塑性变形

一、塑性变形的方式 DDWs&#xff08;Dislocation-Dipole Walls&#xff0c;位错偶极墙&#xff09;&#xff1a;指由两个位错构成的结构&#xff0c;它们以一种特定的方式排列在一起&#xff0c;形成一个稳定的结构单元。 DTs&#xff08;Dislocation Tangles&#xff0c;位错…

【软考】传输层协议TCP与UDP

目录 1. TCP1.1 说明1.2 三次握手 2. UDP3. 例题3.1 例题1 1. TCP 1.1 说明 1.TCP(Transmission Control Protocol&#xff0c;传输控制协议)是整个 TCP/IP 协议族中最重要的协议之一。2.它在IP提供的不可靠数据服务的基础上为应用程序提供了一个可靠的、面向连接的、全双工的…

【Geoserver使用】SRS处理选项

文章目录 前言一、Geoserver的三种SRS处理二、对Bounding Boxes计算的影响总结 前言 今天来看看Geoserver中发布图层时的坐标参考处理这一项。根据Geoserver官方文档&#xff0c;坐标参考系统 (CRS) 定义了地理参考空间数据与地球表面实际位置的关系。CRS 是更通用的模型&…

发布策略说明

发布策略说明 发布策略 区别 标准发布 在部署新版本应用时删除旧版本应用。发布过程中&#xff0c;您的服务会出现短暂中断。 蓝绿发布 应用更新时生成蓝绿两个版本&#xff0c;两个版本互相热备&#xff0c;通过切换路由权重的方式实现不同版本应用的上下线。 该发布策略具…

Apipost IDEA插件新升级,Apipost Helper上架IDEA插件市场

大家好&#xff01;今天向大家介绍一个非常方便的IDEA插件——Apipost Helper&#xff01;相信很多使用过Apipost的朋友在开发过程中都希望能够直接将编写好的API同步至Apipost&#xff0c;而无需手动填写。前段时间&#xff0c;Apipost推出了Apipost IDEA插件的内测版&#xf…

项目第三弹:基础工具类实现

项目第三弹&#xff1a;基础工具类实现 一、工具类的介绍1.生活例子2.专业术语 二、FileHelper1.判断文件是否存在1.C IO流2.stat &#xff1a;Linux系统调用 2.获取文件大小3.创建/删除文件4.创建/删除目录5.read6.write7.获取文件父级目录8.文件的重命名9.FileHelper完整代码…

华为摄像机/NVR主动注册协议接入SVMSP平台

华为摄像机/NVR主动注册协议接入SVMSPro平台 步骤一&#xff1a;进华为网页或者NVR界面进配置选项&#xff0c;左边选配置-网络-平台对接参数 勾选启用SDK注册开关&#xff1b;SDK主动注册 服务器地址&#xff1a;平台软件IP地址 端口&#xff1a;6060&#xff08;默认&#xf…

科研入门学习

学习视频链接 为什么要读论文 读哪些论文 论文的分类 论文质量 如何找论文 根据领域大牛的名字进行搜索查看高水平论文引用的论文&#xff0c;高水平论文引用的论文很大程度也是高水平的论文 如何整理论文 如何读论文 读论文的困境 不同人群阅读差异 读论文的方式 论文的结构…

【pyVista】在三维模型中的网格属性

一&#xff0c;什么是属性&#xff1f; 属性是存在于 一个网格。在 PyVista 中&#xff0c;我们同时使用点数据和单元数据&#xff0c;并且 允许轻松访问数据字典以保存属性数组 它们位于网格的所有点或所有单元上。 点数据 点数据是指值数组&#xff08;标量、向量等&#x…

mockito+junit搞定单元测试(2h)

一&#xff0c;简介 1.1 单元测试的特点 配合断言使用(杜绝 System.out )可重复执行不依赖环境不会对数据产生影响spring 的上下文环境不是必须的一般都需要配合 mock 类框架来实现 1.2 mock 类框架使用场景 要进行测试的方法存在外部依赖(如 db, redis, 第三方接口调用等)…

在Linux中运行flask项目

准备 这里我准备了一个GitHub上某个大佬写的留言板的Flask项目&#xff0c;就用这个来给大家做示范了。 查看留言板的目录结构 查看主程序所用的库函数 只有一个第三方库 Flask 安装pip sudo apt install python3-pip -y测试 pip 安装成功 修改pip镜像源 修改pip的默认下载…

Django学习实战之评论验证码功能(附A)

前言&#xff1a; 对于具有评论功能的博客来说&#xff0c;无论是否为知名博客&#xff0c;都会被恶意广告关注&#xff0c;上线没几天就会有人开始通过程序灌入广告评论&#xff0c;因此针对所有有用户输入的页面&#xff0c;验证码是必需品。 在Django系统中使用验证码非常简…

[Python数据可视化]探讨数据可视化的实际应用:三个案例分析

数据可视化是理解复杂数据集的重要工具&#xff0c;通过图形化的方法&#xff0c;可以直观地展示信息、趋势和模式。本文将深入探讨三个实际案例&#xff0c;包括健康数据分析、销售趋势分析、城市交通流量分析。每个案例将提供假设数据、详细注释的代码及分析结果。 案例 1: …

【每日刷题】Day128

【每日刷题】Day128 &#x1f955;个人主页&#xff1a;开敲&#x1f349; &#x1f525;所属专栏&#xff1a;每日刷题&#x1f34d; &#x1f33c;文章目录&#x1f33c; 1. 606. 根据二叉树创建字符串 - 力扣&#xff08;LeetCode&#xff09; 2. LCR 194. 二叉树的最近公…

Spring在不同类型之间也能相互拷贝?

场景还原 日常开发中&#xff0c;我们会定义非常多的实体&#xff0c;例如VO、DTO等&#xff0c;在涉及实体类的相互转换时&#xff0c;常使用Spring提供的BeanUtils.copyProperties&#xff0c;该类虽好&#xff0c;可不能贪用。 这不在使用过程中就遇到一个大坑&#xff0c…