MySQL调优--11--分批插入/更新数据 ---案例

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 案例1--Lists.partition
        • Lists.partition()
  • 案例2 --while 循环
      • while (true){
      • while (!CollectionUtils.isEmpty(detailList)) {
      • }
      • while (true) 配合分页插件
  • 案例3-- do while
      • do{ } while (!CollectionUtils.isEmpty());
      • do{
      • if (CollectionUtils.isEmpty())) {
      • break;
      • }
      • } while ()


案例1–Lists.partition

Lists.partition()
    private void updateStatus(List<WsapModel> wsapModelList) {if (CollectionUtils.isEmpty(wsapModelList)) {return;}try {List<List<WsapModel>> partList = Lists.partition(wsapModelList, 1000);for (int i = 0; i < partList.size(); i++) {List<WsapModel> list = partList.get(i);List<Long> idlist = list.stream().map(WsapModel::getId).collect(Collectors.toList());personalSubscribeWsapMapper.updateStatus(idlist, LocalDateTime.now());}} catch (Exception e) {logger.error("更新t_personal_subscribe_wsap status为1 异常:{} >>{}", DateUtils.getNow(),e.getMessage());}}

案例2 --while 循环

while (true){

}

while (true) {try {goodsMediaDetailExportVOList = getGoodsMediaDetailExportVOList(goodsMediaDetailRepDTO, goodsMediaVO, goodsMediaDetailListApiRes);log.info("查询物媒视图参数:{},条数:{}", goodsMediaDetailRepDTO, goodsMediaDetailExportVOList.size());            if (CollUtil.isNotEmpty(goodsMediaDetailExportVOList)) {totalRow = totalRow + goodsMediaDetailExportVOList.size();listLists = getExportData(goodsMediaDetailExportVOList);if (totalRow % fileRowSize == 0) {fileIndex++;fileName = "物媒明细数据报表" + fileIndex + ".csv";path = syncExportDTO.getExportFilePath(downLoadFolder) + fileName;fileNames.add(path);ExportUtil.writeCsvFile(fileName, headerList, path, listLists, false);} else {ExportUtil.writeCsvFile(fileName, new ArrayList<>(), path, listLists, true);}} else {break;}} catch (Exception e) {log.error("物媒明细数据报表异常", e);}}

while (!CollectionUtils.isEmpty(detailList)) {

}

    private final Integer BATCH_SIZE = 1000;queryWrapper.last("limit " + BATCH_SIZE);List<ActivityListApplyDetailModel> detailList = activityListApplyDetailMapper.selectList(queryWrapper);int finallyTransferCount = 0;while (!CollectionUtils.isEmpty(detailList)) {// 将数据插入到迁移表activityListApplyDetailMapper.newInsertBatchTransfer(tableName, detailList);// 删除已迁移的数据List<Long> detailIdList = detailList.stream().map(ActivityListApplyDetailModel::getId).collect(Collectors.toList());activityListApplyDetailMapper.deleteBatchIds(detailIdList);finallyTransferCount += detailList.size();log.info("报名明细迁移已完成迁移量:{}", finallyTransferCount);detailList = activityListApplyDetailMapper.selectList(queryWrapper);}

while (true) 配合分页插件

            int pageNum = 1, pageSize = 1000;long count = 0;while (true) {pageQuery.setPageNum(pageNum);pageQuery.setPageSize(pageSize);List<GoodsMediaModel> goodsMediaModelList = PageHelperUtil.listByPage(() -> goodsMediaMapper.selectList(queryWrapper), pageQuery).getLists();// 统计总数count += goodsMediaModelList.size();// 写入文件FileLineHelper.appendWrite(file, parseToString(goodsMediaModelList, specifyDate));if (goodsMediaModelList.size() < pageSize)break;elsepageNum++;}

案例3-- do while

do{ } while (!CollectionUtils.isEmpty());

   int pageNo = 1;int pageSize = 1000;PageBean<PersonalMediaDetailRespDTO> pageBean = null;do {// ck查询客户明细try {ApiResponse<PageBean<PersonalMediaDetailRespDTO>> pageBeanApiResponse = viewFeign.selectPersonalMediaViewDetailList(viewDetailRequestDTO);pageBean = pageBeanApiResponse.getData();if (pageBean == null || CollectionUtils.isEmpty(pageBean.getLists())) {if (pageNo == 1) {log.warn("【人媒明细报表导出】查询浏览事件为空");List<List<Object>> dataList = Lists.newArrayList();List<Object> data = Lists.newArrayList("未查找到符合条件的数据,请修改查询条件");dataList.add(data);ExportUtil.writeCsvFile(fileName, null, path, dataList, true);}break;}} catch (Exception e) {log.error("【人媒明细报表导出】,统计view汇总,请求参数:{}, 错误信息:", JSONObject.toJSONString(viewDetailRequestDTO), e);break;}List<PersonalMediaDetailRespDTO> viewDetailRespDTOList = pageBean.getLists();pageNo++;viewDetailRequestDTO.setPageNum(pageNo);} while (!CollectionUtils.isEmpty(pageBean.getLists()));

do{

if (CollectionUtils.isEmpty())) {

break;

}

} while ()

    @Overridepublic List<ChannelOrgDTO> selectActiveChannelList(String date) {List<ChannelOrgDTO> result = Lists.newArrayList();long pageCount;int pageNum = 0;PageQuery pageQuery = new PageQuery();pageQuery.setPageSize(5000);do {pageNum++;pageQuery.setPageNum(pageNum);PageBean<ChannelOrgDTO> page =PageHelperUtil.listByPage(() -> channelMapper.selectActiveChannelList(date), pageQuery);if (CollectionUtils.isEmpty(page.getLists())) {break;}result.addAll(page.getLists());pageCount = page.getPageCount();} while (pageCount > pageNum);return result;}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/146900.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

滑动窗口经典题目

目录 滑动窗口 什么是滑动窗口&#xff1f; 什么时候用滑动窗口&#xff1f; 怎么用滑动窗口&#xff1f; 209. 长度最小的子数组&#xff08;滑动窗口的引入&#xff09; 3. 无重复字符的最长子串 1004. 最大连续1的个数 III 1658. 将 x 减到 0 的最小操作数 904. 水…

Fyne ( go跨平台GUI )中文文档-容器和布局 (四)

本文档注意参考官网(developer.fyne.io/) 编写, 只保留基本用法 go代码展示为Go 1.16 及更高版本, ide为goland2021.2 这是一个系列文章&#xff1a; Fyne ( go跨平台GUI )中文文档-入门(一)-CSDN博客 Fyne ( go跨平台GUI )中文文档-Fyne总览(二)-CSDN博客 Fyne ( go跨平台GUI…

【重学 MySQL】三十七、聚合函数

【重学 MySQL】三十七、聚合函数 基本概念5大常用的聚合函数COUNT()SUM()AVG()MAX()MIN() 使用场景注意事项示例查询 聚合函数&#xff08;Aggregate Functions&#xff09;在数据库查询中扮演着至关重要的角色&#xff0c;特别是在处理大量数据时。它们能够对一组值执行计算&a…

37. Vector3与模型位置、缩放属性

本文章给通过组对象Group (opens new window)给大家讲解一下threejs层级模型或树结构的概念。 Group层级模型(树结构)案例 下面代码创建了两个网格模型mesh1、mesh2&#xff0c;通过THREE.Group类创建一个组对象group,然后通过add方法把网格模型mesh1、mesh2作为设置为组对象g…

Vuex的使用看这一篇就够了

Vuex概述 Vuex 是一个专为 Vue.js 应用程序开发的状态管理库。它采用集中式存储管理应用的所有组件的状态&#xff0c;并以一种可预测的方式来保证状态以一种可预测的方式发生变化。 state状态 把公用的数据放到store里的state就行了&#xff0c;上面是vue2的代码&#xff0c;下…

[大语言模型] LINFUSION:1个GPU,1分钟,16K图像

1. 文章 2409.02097 (arxiv.org)https://arxiv.org/pdf/2409.02097 LINFUSION: 1 GPU, 1 MINUTE, 16K IMAGE 摘要 本文介绍了一种新型的扩散模型LINFUSION&#xff0c;它能够在保持高分辨率图像生成性能的同时显著降低时间和内存复杂度。该模型采用了基于Transformer的UNet进…

【前端】ES6:Class语法和Class继承

文章目录 1 Class语法1.1 类的写法1.2 getter与setter1.3 静态属性和静态方法 2 Class继承 1 Class语法 1.1 类的写法 class Person {constructor(name,age){this.name name;this.age age;}say(){console.log(this.name,this.age)} } let obj new Person("kerwin&quo…

python--基础语法(2)

1.顺序语句 默认情况下&#xff0c;Python的代码执行顺序是按照从上到下的顺序&#xff0c;依次执行的。 2.条件语句 条件语句能够表达“如果 ...否则 ...”这样的语义这构成了计算机中基础的逻辑判定条件语&#xff0c; 也叫做 分支语句。表示了接下来的逻辑可能有几种走向…

SysML图例-10cm最小航天器AC-10

DDD领域驱动设计批评文集>> 《软件方法》强化自测题集>> 《软件方法》各章合集>> SysML图中词汇 AC10 AeroCube-10&#xff0c;大小仅为10 10 15 cm的卫星&#xff0c;更多信息参见下文&#xff1a; AeroCube-10成为迄今为止完成在轨接近操作的最小航天…

yolov8模型在手部关键点检测识别中的应用【代码+数据集+python环境+GUI系统】

yolov8模型在手部关键点检测识别中的应用【代码数据集python环境GUI系统】 背景意义 在手势识别、虚拟现实&#xff08;VR&#xff09;、增强现实&#xff08;AR&#xff09;等领域&#xff0c;手部关键点检测为用户提供了更加自然、直观的交互方式。通过检测手部关键点&#…

移动登录页:让用户开启一段美好的旅程吧。

Hi,大家好&#xff0c;我是大千UI工场&#xff0c;移动登录页千千万&#xff0c;这里最好看&#xff0c;本期分享一批移动端的登录页面&#xff0c;供大家欣赏。 本次分享的是毛玻璃/3D风格的登录页。

Linux文件IO(七)-复制文件描述符

在 Linux 系统中&#xff0c;open 返回得到的文件描述符 fd 可以进行复制&#xff0c;复制成功之后可以得到一个新的文件描述符&#xff0c;使用新的文件描述符和旧的文件描述符都可以对文件进行 IO 操作&#xff0c;复制得到的文件描述符和旧的文件描述符拥有相同的权限&#…

【文化课学习笔记】【化学】选必三:合成高分子生物大分子

【化学】选必三&#xff1a;合成高分子&生物大分子 如果你是从 B 站一化儿笔记区来的&#xff0c;请先阅读我在第一篇有机化学笔记中的「读前须知」(点开头的黑色小三角展开)&#xff1a;链接 加聚反应 基本概念 聚合反应 由小分子化合物合成高分子化合物的反应叫聚合反应。…

学习 git 命令行的简单操作, 能够将代码上传到 Gitee 上

首先登录自己的gitee并创建好仓库 将仓库与Linux终端做链接 比如说我这里已经创建好了一个我的Linux学习仓库 点开克隆/下载&#xff1a; 在你的终端中粘贴上图中1中的指令 此时他会让你输入你的用户名和密码&#xff0c;用户名就是上图中3中Username for ....中后面你的一个…

秒变 Vim 高手:必学的编辑技巧与隐藏功能大揭秘

文章目录 前言一、vi与vim二、Vim的三种模式1. 普通模式2. 插入模式3. 命令模式 三、Vim中的查找与替换1. 查找2. 替换 四、给Vim设置行号1. 临时显示行号2. 永久显示行号 总结 前言 在Linux系统中&#xff0c;文本编辑器是开发者和系统管理员日常工作中的重要工具之一。其中&…

手机号归属地查询-运营商归属地查询-手机号归属地信息-运营商手机号归属地查询接口-手机号归属地

手机号归属地查询接口是一种网络服务接口&#xff0c;它允许开发者通过编程方式查询手机号码的注册地信息。这种接口通常由第三方服务提供商提供&#xff0c;并可通过HTTP请求进行调用。以下是一些关于手机号归属地查询接口的相关信息&#xff1a; 1. 接口功能 归属地查询&am…

HTB-GreenHorn 靶机笔记

GreenHorn 靶机笔记 概述 GreenHorn 是 HTB 上的一个 linux easy 难度的靶机&#xff0c;主要是通过信息搜集和代码审计找到对我们有用的信息。其中还包含了对pdf文件的修复技术 靶机地址&#xff1a;https://app.hackthebox.com/machines/GreenHorn 一丶 nmap 扫描 1&…

https加密原理

以为http的数据都是以明文传送&#xff0c;会有很大的安全问题&#xff0c;所以出现的https协议。https就是在http协议的基础上增加了一个安全层&#xff0c;可以对数据进行加密和解密(例如SSL、TLS等)。 https加密解密的原理&#xff1a;证书非对称加密对称加密 在讲解原理前…

用友网络交付总监刘伟伟受邀为第四届中国项目经理大会演讲嘉宾

全国项目经理专业人士年度盛会 用友网络科技股份有限公司区域交付总监刘伟伟先生受邀为PMO评论主办的全国项目经理专业人士年度盛会——2024第四届中国项目经理大会演讲嘉宾&#xff0c;演讲议题为“如何有效提升项目经理领导力”。大会将于10月26-27日在北京举办&#xff0c;主…

蓝桥杯模块一:LED指示灯的基本控制

模块训练一:LED指示灯的基本控制 模块1到模块13都是通过I\O模式进行设计 一、电路图 二、电路分析 1.74HC573锁存器介绍 OE端接地&#xff0c;上电即工作&#xff0c;控制LE端&#xff0c;当LE端接高电平时&#xff0c;锁存器开始工作&#xff0c;接通D和Q 2.电路工作原理分析…