Mysql当中的各种log

一、MySQL日志文件类型

  • 重做日志(redo log)
  • 回滚日志(undo log)
  • 二进制日志(binlog)
  • 错误日志(errorlog)
  • 慢查询日志(slow query log)
  • 一般查询日志(general log)
  • 中继日志(relay log)

   其中,比较重要的包括 redo log 、 undo log 和 binlog。

   redo log 是重做日志,提供前滚操作;undo log 是回滚日志,提供回滚操作。

二、几种日志的对比

2-1、用途

   redo log

     确保事务的持久性。

     如果在发生故障的时间点(比如系统宕机),尚有数据未写入磁盘,在重启mysql服务的时候,根据redo log进行重做,从而达保证事务的持久性。

   undo log

     首先明确undo log绝对不是redo log的逆过程。它可以保存事务发生之前的数据的一个版本,可以用于回滚,同时可以提供多版本并发控制(MVCC)下的读。

   binlog

     1. 用于复制,在主从复制中,从库利用主库上的binlog进行重播,实现主从同步。

     2. 用于数据库的基于时间点的还原。

2-2、存储内容、格式

   redo log

     物理格式的日志,记录的是物理数据页面的修改的信息(数据库中每个页的修改),面向的是表空间、数据文件、数据页、偏移量等。

   undo log

     逻辑格式的日志,在执行undo的时候,仅仅是将数据从逻辑上恢复至事务之前的状态,而不是从物理页面上操作实现的,与redo log不同。

   binlog

     逻辑格式的日志,可以简单认为就是执行过的事务中的sql语句。

     但又不完全是sql语句这么简单,而是包括了执行的sql语句(增删改)反向的信息。比如delete操作的话,就对应着delete本身和其反向的insert;update操作的话,就对应着update执行前后的版本的信息;insert操作则对应着delete和insert本身的信息。

     因此可以基于binlog做到闪回功能。

2-3、日志生成

   redo log

     事务开始之后就产生redo log,redo log的落盘并不是随着事务的提交才写入的,而是在事务的执行过程中就开始写入。在发出事务提交指令时,先保证缓存中的redo log写入完毕,才执行提交动作。

   undo log

     事务开始之前,根据当前版本的数据生成undo log;产生undo日志的时候,同样会伴随类似于保护事务持久化机制的redo log的产生。

   binlog

     事务提交的时候,一次性将事务中的所有sql语句按照一定的格式记录到binlog中。

     这里与 redo log 相比最明显的差异就是redo log 在事务开始之后就开始逐步写入磁盘。

2-4、删除策略

   redo log

     当对应事务的数据写入完成(持久化完成)之后,redo log的使命也就完成了,日志占用的空间就可以重用(redo log的日志文件是循环写入的)。

   undo log

     事务提交之后,undo log并不会马上被被删除,而是放入待清理的链表。由purge线程判断是否由其他事务在使用undo段中表的上一个事务之前的版本信息,决定是否可以清理undo log的日志空间。

   binlog

     binlog的日志文件是追加写入,也就是文件写到一定大小以后会切换到下一个,不覆盖原有记录。不过同时binlog的默认行为是,对于非活动的日志文件,在生成时间超过expire_logs_days配置的天数之后,会被自动删除。

2-5、redo log 与 binlog 的区别

  • 作用不同:redo log是保证事务的持久性的,是事务层面的——是innodb层产生的;binlog作为还原的功能,是数据库层面的。保护数据的层次是不一样的。
  • 内容不同:redo log是物理日志,是数据页面的修改之后的物理记录;binlog是逻辑日志,可以简单认为记录的是sql语句。
  • 关于恢复数据的效率:基于物理日志的redo log恢复效率要高于语句逻辑日志的binlog。
三、两阶段提交

   redo log 保证的是数据库的 crash-safe 能力。采用的策略就是常说的“两阶段提交”。

   一条update的SQL语句是按照这样的流程来执行的:

   将数据页加载到内存 → 修改数据 → 更新数据 → 写redo log(状态为prepare) → 写binlog → 提交事务(数据写入成功后将redo log状态改为commit)

   只有当两个日志都提交成功(刷入磁盘),事务才算真正的完成。

   一旦发生系统故障(不管是宕机、断电、重启等等),都可以配套使用 redo log 与 binlog 做数据修复。

binlog状态redo log 状态对策
有记录commit事务已经正常完成
有记录prepare在binlog写完、提交事务之前发生故障。此时数据完整。恢复策略:提交事务
无记录prepare在binglog写完之前发生故障。恢复策略:回滚
无记录无记录在写redo log之前发生故障。恢复策略:回滚

补充:

1. 3种日志对比


二进制日志bin log仅在事务提交时记录,一对一,每一个事务仅包含对应事务的一个日志。

重做日志redo log记录的是物理操作日志,一对多,每个事务对应多个日志条目,并且事务的重做日志写入是并发的,并非在事务提交时写入,故其在文件中记录的顺序并非是事务开始的顺序。*T1、*T2、*T3表示的是事务提交时的日志。

2. binlog二进制 逻辑
2.1 what
逻辑日志,是由mysql上层产生,无论采用什么存储引擎都会有。

由两种格式,Statment格式、ROW格式和Mixed格式

格式    样例
Statment    
存储sql

update table set a='aa' where id=52;

ROW格式    
每行数据地 修改前后地每个字段地值mysqlbinlog解析如下

如图,包含一行数据的修改前后的值,达到误操作后进行恢复的目的

Mixed格式     

2.2 how文件写入
binlog是追加写,不会覆盖;当文件满了,就创建新的binlog文件,index递增,循环写入

3. redo log 重做日志 物理
重做日志主要用于宕机恢复,在事务提交前一定会写入到重做日志,但数据不一定持久化到了数据页。

Write-Ahead Logging:先写日志,再写磁盘,更新数据时数据行可能是没有及时修改的;这么做是为了提高性能,因为数据行比较分散,写入文件可能要重新磁盘寻址影响性能;

而重做日志是顺序读写,没有了最耗时地磁盘寻址;当事务提交后如果发生宕机,此时数据是未持久化地,重启后可以根据重做日志进行恢复,保障了事务的持久性。

what:
记录页的修改

 

日志类型有插入、删除等51种,以插入、删除为例,他们的格式如下,

插入语句记录了哪个表空间、哪一页、哪个偏移下需要存放rec body这一行。

删除语句记录表空间、哪一页、哪个偏移的行是需要删除的。

文件写入
多个重做日志文件循环写,会覆盖!因为数据也会刷磁盘,当刷完磁盘,redo 日志已经没有用了!

 

4. undo log 逻辑
主要用于事务回滚 和MVCC 多版本并发控制

undo log分为 insert和update,划分是根据插入语句的undo log提交后可以直接删除;而update类型的根据MVCC的需求不能删除,需要purge线程判断能否删除。

insert类型的undo log格式如下,记录了next下一跳日志、类型、undo no、表id和主键kv,如需回滚直接根据主键定位到数据行进行删除。

update类型是针对update语句和delete语句,除了以上 还记录了修改数据的事务id、数据的回滚指针、update vector 修改的列的原始和修改值,可以根据这个写出相反的update语句和insert语句。

 

5. update流程(记录日志时机)


两阶段提交
将 redo log 的写入拆成了两个步骤:prepare 和 commit,这就是"两阶段提交"。 

why:

由于 redo log 和 binlog 是两个独立的逻辑,如果不用两阶段提交,要么就是先写完redo log 再写 binlog,或者采用反过来的顺序。我们看看这两种方式都会存在当两者中间数据库崩溃的话,两者数据不一致。

文章知识点与官方知识档案匹配,可进一步学习相关知识
MySQL入门技能树SQL高级技巧CTE和递归查询 95743 人正在系统学习中

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1875.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

自定义规则配置教程

大家在使用waf的时候,因为业务特殊性和waf的严格校验,有时会产生误报,阻拦合法流量。 这个时候,只能通过自定义规则进行补充,选择加白名单或者黑名单。 很多人会说配置黑白名单失效了,其实95%以上都是自己…

Java项目:图书管理系统(有源代码)

Java项目:图书管理系统(有源代码) 直接上项目实现效果,文末有源码获取方式 一、技术选型 • Spring Boot、Vue、MySQL、Redis 二、功能说明 用户功能 图书查询功能 读者规则功能 查看公告 个人信息 借阅信息 违章信息 读者留言…

鸿蒙生态崛起:开发者机遇、挑战与未来展望

背景 鸿蒙系统不断发展,有与安卓、iOS 形成三足鼎立之势,且其在智能手机、智能穿戴、车载、家居等行业领域的应用越来越广泛。作为开发者,如何抓住鸿蒙生态崛起的机遇,解决开发挑战,创造更好的应用体验?欢…

MYSQL复合查询

当我们要查询的数据要使用的限制条件不是很简单的时候,可能要在一个限制条件下再次限制,比如要查找小美所在公司的平均薪资,就要先找到小美的公司,再求平均薪资。复合查询分三种,多表连接查询、子句查询和合并查询。 …

【论文阅读笔记】VLP: A Survey on Vision-language Pre-training

目录 前言2 特征提取(Feature extraction)2.1.1 图象特征提取OD-based Region feature / RoIFreeze the pre-trained object detectorsGrid features(网格特征)CNN-GFsEnd-to-End Training(端到端训练)ViT-…

U盘插入电脑不显示?别急,这里有解决方案!

随着科技的飞速发展,U盘已成为我们日常生活和工作中不可或缺的数据存储工具。然而,你是否遇到过这样的情况:满心欢喜地将U盘插入电脑,却发现电脑竟然“视而不见”,U盘图标迟迟不出现?别急,这种情…

如何使用Web-Check和cpolar实现安全的远程网站监测与管理

文章目录 前言1.关于Web-Check2.功能特点3.安装Docker4.创建并启动Web-Check容器5.本地访问测试6.公网远程访问本地Web-Check7.内网穿透工具安装8.创建远程连接公网地址9.使用固定公网地址远程访问 前言 本期给大家分享一个网站检测工具Web-Check,能帮你全面了解网…

【第一个qt项目的实现和介绍以及程序分析】【正点原子】嵌入式Qt5 C++开发视频

qt项目的实现和介绍 1.第一个qt项目  (1).创建qt工程    [1].创建一个存放qt的目录    [2].新建一个qt工程    [3].编译第一个工程    发生错误时的解决方式 二.QT文件介绍  (1).工程中文件简单介绍  (2).项目文件代码流程介绍    [1].添…

【Linux】命令行参数 | 环境变量

🪐🪐🪐欢迎来到程序员餐厅💫💫💫 主厨:邪王真眼 主厨的主页:Chef‘s blog 所属专栏:青果大战linux 总有光环在陨落,总有新星在闪烁 前几天在搞硬件&…

【数据结构与算法】第7课—数据结构之队列

文章目录 1. 队列1.1 什么是队列1.2 队列的结构1.3 队列初始化1.4 队列入栈1.5 出队列1.6 查找队列有效元素个数1.7 取队头和队尾数据1.8 销毁链表 2. 用两个队列实现栈3. 用两个栈实现队列4. 循环队列 1. 队列 注:文中Queue是队列,Quene是错误写法 1.1 …

数据结构 ——— 向上/向下调整算法将数组调整为升/降序

目录 向上调整算法(默认小堆) 向下调整算法(默认小堆) 利用向上调整算法对现有数组直接建堆 利用向下调整算法对以建成的小堆数组排降序 举一反三: 那么如何将数组 a 排成升序呢? 向上调整算法&…

一种基于GPU的归并排序并行实现

0️⃣归并排序流程 分割过程:将待排序数组等分为左右子数组,再对左右子数组递归式等分,直至不可分割合并过程:将所有子数组两两递归合并,逐步得到较大有序数组,直到得到完整有序数组 1️⃣传统的并行归并 …

【MySQL】数据类型

目录 一、常见数据类型汇总 二、数值类型 2.1 tinyint 2.2 bit 2.3 float 2.4 decimal 三、字符串类型 3.1 char 3.2 varchar 四、日期和时间类型 五、枚举和集合 5.1 enum枚举 5.2 set集合 一、常见数据类型汇总 分类数据类型说明数值类型BIT(M)二进制位。M指定…

《探索 HarmonyOS NEXT (5.0):开启构建模块化项目架构奇幻之旅 —— 动态路由 ZRouter:引领高效模块通信的智慧中枢》

ZRouter简介:是一款轻量级的动态路由框架,基于Navigation系统路由表和Hvigor插件实现的方案,可以解决多个业务模块(HAR/HSP)之间解耦和通信问题,从而实现业务复用和功能扩展。 ZRouter出处ZRouter&#xff…

网络原理(数据链路层)->以太网帧格式解

前言 大家好我是小帅,今天我们来了解以太网帧格式 个人主页 文章目录 1.数据链路层1.1 认识以太⽹1.2 MAC地址(⽹卡的硬件地址)1.2.1 对⽐理解MAC地址和IP地址 1.3 认识MTU1.4 MTU对IP协议的影响1. 5 MTU对UDP协议的影响1.6 MTU对于TCP协议的…

银行金融知识竞赛活动策划方案

根据《中国人民银行**市中心支行“创新金融服务,支持经济发展”业务竟赛活动实施方案》安排,中支决定于9月28日举办**市人民银行系统“创新金融服务,支持经济发展”现场业务竞赛,为确保业务竞赛组织工作顺利开展,特制定…

渗透测试练习题解析 7 (CTF web)

一、[红明谷CTF 2021]write_shell 1 考点: 1、PHP 短标签 2、 符号的使用 通过代码可知 check 是一个过滤函数,利用正则的方式过滤掉 空格、php、eval 等一些关键字或符号,$dir 是路径,这个值可以通过 actionpwd 获取到&#…

VBA中类的解读及应用第十七讲:类,让文本框在激活时改变颜色(下)

《VBA中类的解读及应用》教程【10165646】是我推出的第五套教程,目前已经是第一版修订了。这套教程定位于最高级,是学完初级,中级后的教程。 类,是非常抽象的,更具研究的价值。随着我们学习、应用VBA的深入&#xff0…

如何下载安装TestLink?

一、下载TestLink、XAMPP TestLink 下载 |SourceForge.net 备用:GitHub - TestLinkOpenSourceTRMS/testlink-code: TestLink开源测试和需求管理系统 下载XAMPP: Download XAMPP 注意:TestLink与PHP版本有关系,所以XA…

基于SpringBoot+微信小程序+协同过滤算法+二维码订单位置跟踪的农产品销售平台-新

✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取项目下载方式🍅 一、项目背景介绍: “农产品商城”小程序…