MySQL核心业务大表归档过程

      记录一下2年前的MySQL大表的归档,当时刚到公司,发现MySQL的业务核心库,超过亿条的有7张表,最大的表有9亿多条,有37张表超过5百万条,部分表行数如下:

       

      在测试的MySQL环境  :

      pt-archiver 工具,测试200的dev实例,5800万条数据,纯删除1000万条数据,花费约9分多钟。  

  pt-archiver --source h=172.17.0.1,u=dev_op,p='pwd',P=3306,D=test,t=cc  --statistics --no-check-charset --where " id<=13000000" --limit 60000   --commit-each 
--progress 1000000 --bulk-delete --primary-key-only --purge

    和研发,产品讨论如何删除这些大表的没用的数据,确定后,是删除部分没有续约和不合作客户的数据,这些企业的id,由产品部门确认后,给了给列表。

 查询后,这些大表都有比较大的数据行数删除,最大的9亿多条表可以删除出2.3亿条数据,如何备份和删除这2.3亿条数据?

      1,使用腾讯云的数据迁移工具,把整个表备份后,通过pt-archiver 工具删除。 大表不适用

     这样备份可以批量进行,删除可以慢慢删除,小表备份可以,但是对于大表,就多备份了6,7亿条数据。占用空间

      2,可以使用mysqldump工具通过查询备份删除的数据,在通过pt-archiver 工具删除。 小表不适用

     千万级别以下小表就比较麻烦。对于亿级别以上的大表就比较好,如下:    

-- 导出单表
mysqldump -udba_op -p'pwd'  -h172.17.16.126 -P3306 --set-gtid-purged=OFF -t --default-character-set=utf8mb4  --skip-lock-tables  de_db  exam_detail  --where=" exam_id in (select exam_id from  exam   where app_id in (select app_id from bak.t_app_2022)) " >/data1/ex.sql-- 在备份MySQL还原
source /data1/ex.sql

   pt-archiver删除数据:

   例子: -从库4和5延迟30秒,暂停停止删除   

pt-archiver --source h=172.17.16.12,u=dba_op,p='pwd',P=3306,D=de_db,t=user_detail  --statistics --no-check-charset --where " exam_id in (select exam_id from  exam   where app_id in ('gzdsl'))" --limit 100000  --max-lag=30 --check-slave-lag  u=dba_op,p='pwd',h=172.17.16.106,P=3306 --check-slave-lag  u=dba_op,p='pwd',h=172.17.16.4,P=3306 --commit-each --progress 3000000 --bulk-delete --primary-key-only --purge
--primary-key-only  指定进行DELETE清除时最有效,因为只需读取主键一个字段而无需读取行所有字段
--purge 指定执行的删除操作
--limit 100000 每次删除10万行,可以根据情况调整
--dry-run 打印查询需要清除数据的执行语句,做好确认之后再执行

最后处理:

 1,对于9亿条的数据,修改pt脚本,确定执行最长时间--run-time和延迟时间20秒,减少对系统的影响,类似修改如下:
pt-archiver --source h=172.17.16.12,u=dba_op,p='pwd',P=3306,D=de_db,t=gp_mem  --statistics --no-check-charset --where " sys_user_id in  (select sys_user_id from db_bak.t1)  " --limit 200000  --max-lag=20 --check-slave-lag  u=dba_op,p='pwd',h=172.17.16.106,P=3306  --commit-each --progress 3000000 --bulk-delete --primary-key-only --run-time=100m  --purge

        2,每个表写一个shell文件,调度执行

        3,删除完成后,重建表释放表的空间      

pt-online-schema-change  --alter " engine=innodb  " h=172.17.16.78,P=3306,p='pwd',u=dev_op,D=sg_bak,t=user_detail --charset=utf8mb4 --no-check-replication-filters --recursion-method=none --execute

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/7296.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

每日OJ题_牛客_春游_贪心+数学_C++_Java

目录 牛客_春游_贪心数学 题目解析 C代码 Java代码 牛客_春游_贪心数学 春游 描述&#xff1a; 盼望着&#xff0c;盼望着&#xff0c;东风来了&#xff0c;春天脚步近了。 值此大好春光&#xff0c;老师组织了同学们出去划船&#xff0c;划船项目收费如下&#xff1a;…

黔院长:传承中医智慧,开启慢病快调新时代

在当今社会&#xff0c;慢性病如影随形地困扰着许多人&#xff0c;成为影响人们生活质量的重要因素。然而&#xff0c;有着悠久历史传承的黔院长&#xff0c;作为中医世家&#xff0c;源于 1760 年&#xff0c;正以其独特的魅力和非遗项目&#xff0c;为慢病快调带来新的希望。…

Redux的简介及其在React中的应用

Redux Redux 是React最常用的集中状态管理工具&#xff0c;类似于Vue中的Pinia&#xff08;Vuex&#xff09;&#xff0c;可以独立于框架运行。 作用&#xff1a;通过集中管理的方式管理应用的状态。 使用步骤&#xff1a; 定义一个 reducer 函数 &#xff08;根据当前想要做…

Maven的安装配置

文章目录 一、MVN 的下载二、配置maven2.1、更改maven/conf/settings.xml配置2.2、配置环境变量一、MVN 的下载 还是那句话,要去就去官网或者github,别的地方不要去下载。我们下载binaries/ 目录下的 cd /opt/server wget https://downloads.apache.org/maven/maven-3/3.9.6/…

如何找到捏蛋糕和修牛蹄类型的解压视频素材?

今天&#xff0c;我们来聊一个让人放松的话题——如何找到捏蛋糕和修牛蹄类型的解压视频素材。你是否也曾在抖音、快手上被这些视频吸引&#xff1f;它们确实让人倍感舒适。如果你也想制作这种类型的解压视频&#xff0c;下面我将推荐几个优秀的网站&#xff0c;帮助你快速找到…

锂电池储能电站火灾危险及对策分析

引言 随着风能和太阳能等可再生能源在能源结构中所占比例的持续增长&#xff0c;以及对间歇性和波动性能源接入需求的增加&#xff0c;加之锂电池成本的降低&#xff0c;锂电池储能电站正在新能源并网和电力系统辅助服务等多个领域得到广泛应用。然而&#xff0c;随着锂电池储…

【ddnsgo+ipv6】

ddnsgoipv6 DNS解析添加记录ddnsgo配置 DNS解析添加记录 ddnsgo配置

Go的环境搭建以及GoLand安装教程

目录 一、开发环境Golang安装 二、配置环境变量 三、GoLand安装 四、Go 语言的 Hello World 一、开发环境Golang安装 官方网址&#xff1a; The Go Programming Language 1. 首先进入官网&#xff0c;点击Download&#xff0c;选择版本并进行下载&#xff1a; ​ ​ 2. …

论文概览 |《IJGIS》2024.09 Vol.38 issue9

本次给大家整理的是《International Journal of Geographical Information Science》杂志2024年第38卷第9期的论文的题目和摘要&#xff0c;一共包括9篇SCI论文&#xff01; 论文1 A movement-aware measure for trajectory similarity and its application for ride-sharing …

伦敦金行情分析及策略:突破交易及其止损

突破一直是伦敦金市场中重要的策略&#xff0c;但由于智能交易越来越成为很多主流机构所使用的交易工具&#xff0c;参与突破交易的朋友经常成为输家&#xff0c;因为他们的行动被捕捉到了。那这个突破的伦敦金行情分析及策略是不是不能用呢&#xff1f;也不是&#xff0c;下面…

MFC中Excel的导入以及使用步骤

参考地址 在需要对EXCEL表进行操作的类中添加以下头文件&#xff1a;若出现大量错误将其放入stdafx.h中 #include "resource.h" // 主符号 #include "CWorkbook.h" //单个工作簿 #include "CRange.h" //区域类&#xff0c;对Excel大…

实验(未完成)

一、拓扑图 二、需求及分析 1、需求 按照图示的VLAN及IP地址需求&#xff0c;完成相关配置。 要求SW1为VLAN 2/3的主根及主网关&#xff0c;SW2为VLAN 20/30的主根及主网关。 SW1和SW2互为备份。 可以使用super vlan。 上层通过静态路由协议完成数据通信过程。 AR1为企…

导航栏及下拉菜单的实现

这次作业我们将来实现下图&#xff1a; 主要有导航栏及下拉菜单组成 编写代码 <!DOCTYPE html> <html><head><meta charset"utf-8"><title></title><style>* {margin: 0;padding: 0;/* border: 1px solid red; */}.menu…

Vue2 doc、excel、pdf、ppt、txt、图片以及视频等在线预览

Vue2 doc、excel、pdf、ppt、txt、图片等在线预览 安装使用目录结构直接上代码src\components\FileView\doc\index.vuesrc\components\FileView\excel\index.vuesrc\components\FileView\img\index.vuesrc\components\FileView\pdf\index.vuesrc\components\FileView\ppt\index…

js,ts控制流程

摘要&#xff1a; 在 JavaScript 和 TypeScript 中&#xff0c;控制流程是指程序执行的顺序和条件判断。以下是一些常见的控制流程结构&#xff0c;包括条件语句、循环语句和函数调用等。 1. 条件语句&#xff1a; if 语句 let condition true;if (condition) {console.log(C…

如何利用谷歌浏览器提升上网体验

在当今数字化时代&#xff0c;拥有一款高效、便捷且个性化的浏览器对于提升上网体验至关重要。谷歌浏览器作为全球最受欢迎的浏览器之一&#xff0c;凭借其强大的功能和简洁的界面设计&#xff0c;赢得了广大用户的青睐。本文将为您介绍三个实用技巧&#xff0c;帮助您更好地利…

敏捷开发新助力:超越传统的10大知识库工具

敏捷开发强调快速响应变化、持续交付价值以及团队之间的紧密协作。为了实现这些目标&#xff0c;团队需要借助高效、智能的知识库工具来管理、整合和分享项目中的各类知识资源。以下是敏捷开发团队必备的10大知识库工具&#xff0c;其中特别包含了HelpLook AI知识库。 HelpLook…

计算机网络——SDN

分布式控制路由 集中式控制路由

C语言——VS实用调试技巧

文章目录 什么是bug&#xff1f;什么是调试&#xff08;debug&#xff09;&#xff1f;debug和releaseVS调试快捷键环境准备调试快捷键 监视和内存观察监视内存 调试举例1调试举例2调试举例3&#xff1a;扫雷编程常见错误归类编译型错误链接型错误运行时错误 什么是bug&#xf…

对称二叉树(力扣101)

题目如下: 思路 对于这道题, 我会采用递归的解法. 看着对称的二叉树, 写下判断对称的条件, 再进入递归即可. 值得注意的是, 代码中会有两个函数, 第一个是isSymmetric,第二个是judge. 因为这里会考虑到一种特殊情况, 那就是 二叉树的根结点(最上面的那个),它会单独用…