java面试（MySQL）

在这里插入图片描述

优化

如何定位慢查询

方案一：开源工具
调试工具：Arthas
运维工具：Prometheus,Skywalking
方案二：MySQL自带慢日志
慢查询日志记录了所有执行时间超过指定参数（llong_query_time,单位：秒，默认十秒）的所有SQL语句的日志，如果要开启慢查询日志，需要再MySQL的配置文件（/etc/my.cnf）中配置如下信息：

# 开启MySQL慢日志查询开关
slow_query_log = 1
# 设置慢日志的事件为2秒，SQL语句执行时间超过2秒，就会视为慢查询，记录慢查询日志
long_qeury_time = 2

在这里插入图片描述

SQL语句执行的很慢，如何分析

可以采用EXPLAIN或DESC命令获取MySQL如何执行SELECT语句的信息
语法：

- 直接在select语句之前加上关键字EXPLAIN/DESC
EXPLAIN SELECT 字段列表 FROM 表明 WHERE 条件;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

什么是索引

索引（index）是帮助MySQL高效获取数据的数据结构（有序）。在数据之外，数据库系统还维护者满足特定查找算法的数据结构（B+树），这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找#算法，这种数据结构就是索引。

索引的底层数据结构了解过嘛？

数据结构对比

MySQL默认使用的索引底层数据结构是B+树，我们先看看二叉树和B树。
在这里插入图片描述
B-tree，B树是一种多叉路衡查找树，相对于二叉树，B树的每个节点可以有多个分支，即多叉。以一颗最大度数(max-degree)为5（5阶）的b-tree为例，那这个B树每个节点最多存储4个key
B+tree是在BTree基础上的一个优化，使其更适合实现外存储索引结构，InnoDB存储引擎就是用B+tree实现其索引结构
在这里插入图片描述
B树与B+树对比：

  1. 磁盘读写代价B+树更低
  2. 查询效率B+树更稳定
  3. B+树便于扫库和区间查询
    在这里插入图片描述

聚簇索引和非聚簇索引

分类含义特点
聚集索引（Clustered Index）将数据存储与索引放到了一块，索引结构的叶子节点保存了行数据必须有，而且只有一个
二级索引（Secondary Index）将数据与索引分开存储，索引机构的叶子节点关联的是对应的主键可以存在多个

聚集索引选取规则：

  1. 如果存在主键，主键索引就是聚集索引
  2. 如果不存在主键，将使用第一个唯一（UNIQUE）索引作为聚集索引
  3. 如果表中没有主键，或没有合适的唯一索引，则InnoDB会自动生成一个rowid作为隐藏的聚集索引
    在这里插入图片描述

回表查询

在这里插入图片描述

覆盖索引

覆盖索引是指查询使用了索引，并且需要返回的列，在该索引中已经全部能找到。（即不需要回表查询）
在这里插入图片描述

超大分页优化

可以使用覆盖索引解决，在数据量比较大时，如果进行limit分页查询，在查询时，越往后，分页查询效率越低。
我们一起来看看执行limit分页查询耗时对比
在这里插入图片描述
因此，当在进行分页查询时，如果执行limit 9000000,10，此时需要MySQL排序前9000010记录，仅仅返回9000000-9000010的记录，其他记录丢弃，查询排序的代价非常大。
优化思路：一般分页查询时，通过创建覆盖索引能够比较好地提高性能，可以通过覆盖索引加子查询的形式进行优化
在这里插入图片描述
在这里插入图片描述

索引创建的原则

  1. 针对于数据量较大，且查询比较频繁的表建立索引。单表超过10万数据（增加用户体验）
  2. 针对于常作为查询条件（where），排序（order by），分组（group by）操作的字段建立索引
  3. 尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率也就越高。
  4. 如果是字符串类型的字段，字段的长度较长，可以针对于字段的特点，建立前缀索引。
  5. 尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率。
  6. 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增删改的效率。
  7. 如果素银列不能存储NULL值，请在创建表时用NOT NULL约束他，当优化器知道每列是否包含NULL值时，他可以更好的确定哪个索引最有效的用于查询
    在这里插入图片描述

什么情况下索引会失效

  1. 违反最左前缀法则
    如果索引了多列，要遵守最左前缀法则，指的是查询从索引的最左前列开始，并且不跳过索引中的列。匹配最左前缀法则，在这里插入图片描述
  2. 范围查询右边的列，不能使用索引
    在这里插入图片描述
  3. 不要在索引列上进行运算操作，索引将失效
    在这里插入图片描述
  4. 字符串不加单引号，造成索引失效
    在这里插入图片描述
  5. 以%开头的Like模糊查询，索引失效。如果仅仅是尾部模糊查询，索引不会失效。如果是头部模糊匹配，索引失效。
    在这里插入图片描述
    在这里插入图片描述

sql优化的经验

表的设计优化

  1. 比如设置合适的数值（tinyint，int，bigint），要根据实际情况进行选择
  2. 比如设置合适的字符串类型（char和varchar）char定长效率高，varchar可变长度效率低

SQL语句优化

  1. SELECT语句务必指明字段名称（避免直接使用SELECT *）
  2. SQL语句要避免造成索引失效的写法
  3. 尽量用union all代替union union会多一次过滤，效率低
  4. 避免在where子句中对字段进行表达式操作
  5. join优化，能用innerjoin就不用left join，right join，如必须使用一定要以小表为驱动，内连接会对两个表进行优化，优先把小表放到外边，把大表放在里面。left join和right join，不会重新调整顺序

主从复制，读写分离

如果数据库的使用场景读的操作比较多的时候，为了避免写的操作锁造成的性能影响，可以采用读写分离的架构。读写分离解决的是数据库的写入，影响了查询的效率。
在这里插入图片描述
在这里插入图片描述

事务的特性是什么

事务是一组操作的集合，他是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败。

ACID是什么？可以详细说一下？

原子性（Atomicity）：事务是不可分割的最小单元，要么全部成功，要么全部失败
一致性（Consistency）：事务完成时，必须使所有的数据都保持一致状态
隔离性（Isolation）：数据库系统提供的隔离机制，保证事务在不受外部并发操作影响的独立环境下运行
持久性（Durability）：事务一旦提交或回滚，他对数据库中的数据的改变就是永久的。

并发事务

并发事务问题

问题描述
脏读一个事务读到另外一个事务还没有提交的数据
不可重复读一个事务先后读取同一条记录，但两次读取的数据不同，称之为不可重复读
幻读一个事务按照条件查询数据时，没有对应的数据行，但是在插入数据时，又发现这行数据已经存在，好像出现了幻影

怎么解决并发事务的问题呢

方案：对事务进行隔离

隔离级别脏读不可重复读幻读
Read uncommitted未提交度√√√
Read committed读已提交×√√
Repeatable Read（默认）可重复读××√
Serializable串行化×××

注：事务隔离级别越高，数据越安全，但是性能越低。
在这里插入图片描述

undolog和redolog的区别

缓冲池（buffer pool）：主内存中的一个区域，里面可以缓存磁盘上经常操作的真实数据，在执行增删改查操作时，先操作线程池中的数据（若缓冲池没有数据，则从磁盘加载并缓存），以一定的频率刷新到磁盘，从而减少磁盘IO，加快处理速度
数据页（page）：是InnoDB存储引擎磁盘管理的最小单元，每个页的大小默认为16kb。页中存储的是行数据

redolog

重做日志，记录的是事务提交时数据页的物理修改，用来实现事务的持久性
该日志文件由两部分组成：重做日志缓冲（redo log buffer）以及重做日志文件（redo log file），前者是在内存中，后者在磁盘中。当事务提交后会把所有修改信息都存到该日志文件中，用于在刷新脏页到磁盘发生错误时，进行数据恢复用
在这里插入图片描述

undo log

回滚日志，用于记录数据被修改前的信息，作用包含两个：提供回滚和MVCC（多版本并发控制）。undo log和redo log记录物理日志不一样，他是逻辑日志。

  1. 可以认为当delete一条记录时，undo log中会记录一条对应的insert记录，反之依然
  2. 当update一条记录时，他记录一条对应相反的update记录。当执行rollback时，就可以从undo log中的逻辑记录读取到响应的内容并进行回滚
    在这里插入图片描述

事务中的隔离性是如何保证的呢

MVCC

全称Multi-Version Concurrency Control，多版本并发控制，指维护一个数据的多个版本，使得读写操作没有冲突。MVCC的具体实现，主要依赖于数据库记录中的隐式字段，undo log日志，readView

实现原理

记录中的隐藏字段
在这里插入图片描述

隐藏字段含义
DB_TRX_ID最近修改事务ID，记录插入这条记录或最后一次修改该记录的事务ID
DB_ROLL_PTR回滚指针，指向这条记录的上一个版本，用于配合undo log，指向上一个版本
DB_ROW_ID隐藏主键，如果表结构没有指定主键，将会生成该隐藏字段。

undo log
回滚日志，在insert，update，delete的时候产生的便于数据回滚的日志
当insert的时候，产生的undo log日志只在回滚时需要，在事务提交后，可被立即删除。
而update，delete的时候，产生的undo log日志不仅在回滚时需要，mvcc版本访问也需要，不会立即被删除

undo log版本链
在这里插入图片描述
不同事务或相同事务对同一条记录进行修改，会导致该记录的undo log生成一条记录版本链表，链表的头部时最新的旧记录，链表的尾部是最早的旧记录。

readview
ReadView（读视图）时快照读SQL执行时MVCC提取数据的依据，记录并维护系统当前活跃的事务（未提交的）id
当前读
读取的是记录的最新版本，读取时还要保证其他并发事务不会修改当前记录，会对读取的记录进行加锁。对于我们日常的操作，如：select … lock in share mode(共享锁)，select … for update,update,insert,delete（排他锁）都一种当前读
快照读
简单的select（不加锁）就是快照读，快照读，读取的是记录数据的可见版本，有可能是历史数据，不加锁，是非阻塞读

  1. Read Committed：每次select，都生成一个快照读
  2. Repeatable Read：开启事务后第一个select语句才是快照读的地方。
    ReadView中包含了四个核心字段：
字段含义
m_ids当前活跃的事务ID集合（未提交）
min_trx_id最小活跃事务ID
max_trx_id预分配事务ID，当前最大事务ID+1（因为事务ID是自增的）
creator_trx_idReadView创建者的事务ID

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

MySQL主从同步原理

在这里插入图片描述
MySQL主从复制的核心就是二进制日志
二进制日志BINLOG记录了所有的DDL（数据定义语言）语句和DML（数据操纵语言）语句，但不包括数据查询（SELECT,SHOW）语句。
在这里插入图片描述
复制分成三步：

  1. Master主库在事务提交时，会把数据变更记录在二进制日志文件Binlog中
  2. 从库读取主库的二进制日志文件Binlog，写入到从库的中继日志Relay log
  3. slave重做中继日志中的事件，将改变反应它自己的数据
    在这里插入图片描述

分库分表

分库分表的时机：

  1. 前提，项目业务数据逐渐增多，或业务发展比较迅速（单表的数据量达到1000w或20G之后）
  2. 优化已解决不了性能问题（主从读写分离，查询索引）
  3. IO瓶颈（磁盘IO，网络IO），CPU瓶颈（聚合查询，连接数太多）

垂直拆分

垂直分库：以表为依据，根据业务将不同表拆分到不同库中
特点：
1. 按照业务对数据分级管理，维护，监控，扩展
2. 在高并发下，提高磁盘IO和数据量连接数
垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中
特点：
1. 冷热数据分离
2. 减少IO过渡争抢，两表互不影响

水平拆分

水平分库：将一个库的数据拆分到多个库中
特点：
1. 解决了单库大数量，高并发的性能瓶颈问题
2. 提高了系统的稳定性和可用性
水平分表：将一个表的数据拆分到多个表中（可以在同一个库内）
特点：
1. 优化单表数据量过大而产生的性能问题
2. 避免IO争抢并减少锁表的几率

分库分表的策略有哪些

分库之后的问题：
1. 分布式事务一致性的问题
2. 跨节点关联查询
3. 跨节点分页，排序函数
4. 主键避重
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1410062.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

操作系统（2）——进程线程

操作系统（2）——进程线程

目录 小程一言专栏链接: [link](http://t.csdnimg.cn/8MJA9)基础概念线程详解进程详解进程间通信调度常用调度算法 重要问题哲学家进餐问题问题的描述策略 读者-写者问题问题的描述两种情况策略 总结进程线程一句话 小程一言 本操作系统专栏，是小程在学操作系统的过…
阅读更多...
专注 APT 攻击与防御—工具介绍Veil-Evasion

专注 APT 攻击与防御—工具介绍Veil-Evasion

专注 APT 攻击与防御 - Micro8 系列教程项目地址：https://github.com/Veil-Framework/Veil-Evasion 1、Veil-Evasion Veil-Evasion 是与 Metasploit 生成相兼容的 Payload 的一款辅助框架，并可以绕过大多数的杀软。 Veil-Evasion 并没有集成在kali&am…
阅读更多...
macOS sonoma 14.4.1编译JDK 12

macOS sonoma 14.4.1编译JDK 12

macOS sonoma 14.4.1编译JDK 12 环境参考文档开始简述问题心路历程着手解决最终解决(前面有点啰嗦了，可以直接看这里) 记录一次靠自己看代码解决问题的经历(总之就是非常开心)。 首先，先diss一下bing，我差一点就放弃了。 环境 macOS sonom…
阅读更多...
nginx--自定义日志跳转长连接文件缓存状态页

nginx--自定义日志跳转长连接文件缓存状态页

自定义日志服务 [rootlocalhost ~]# cat /apps/nginx/conf/conf.d/pc.conf server {listen 80;server_name www.fxq.com;error_log /data/nginx/logs/fxq-error.log info;access_log /data/nginx/logs/fxq-access.log main;location / {root /data/nginx/html/pc;index index…
阅读更多...
Copilot Venture Studio創始合伙人楊林苑確認出席“邊緣智能2024 - AI開發者峰會”

Copilot Venture Studio創始合伙人楊林苑確認出席“邊緣智能2024 - AI開發者峰會”

隨著AI技術的迅猛發展，全球正逐步進入邊緣計算智能化與分布式AI深度融合的新時代，共同書寫著分布式智能創新應用的壯麗篇章。邊緣智能，作為融合邊緣計算和智能技術的新興領域，正逐漸成為推動AI發展的關鍵力量。借助分布式和去中心…
阅读更多...
在Mac上恢复已删除文件夹的最佳方法

在Mac上恢复已删除文件夹的最佳方法

“嗨，我从我的Mac Documents文件夹中删除了很多文件夹。已删除的文件夹包含我的重要文档和文件，是否可以取回它们？垃圾桶已被清洁软件清空。如何在我的Mac上恢复已删除的文件夹？ 当您在 Mac 上删除 1 或 2 个文件夹时&#xff0c…
阅读更多...
字符串函数与字符函数运用（1）

字符串函数与字符函数运用（1）

字符串与字符函数介绍1 前言一、字符分类函数字符函数练习 二、字符函数转换1.引入库2.代码改进 字符串函数strlen函数strcpy 结尾 前言 字符串函数大概有以下这几种 strcpy、strcat 、strcmp、strncpy、strncat、strncmp、strstr、strtok、strerror 这些函数可以很好的解决你…
阅读更多...
Java 笔记 12：Java 方法的相关使用，方法重载、参数传递，以及递归等内容

Java 笔记 12：Java 方法的相关使用，方法重载、参数传递，以及递归等内容

一、前言 记录时间 [2024-05-02] 系列文章简摘： Java 笔记 01：Java 概述，MarkDown 常用语法整理 Java 笔记 02：Java 开发环境的搭建，IDEA / Notepad / JDK 安装及环境配置，编写第一个 Java 程序 Java 笔记 …
阅读更多...
队列以及信号量

队列以及信号量

什么是队列 队列又称消息队列，是一种常用于任务间通信的数据结构，队列可以在任务与任务间、中断和任 务间传递信息。 为什么不使用全局变量？ 如果使用全局变量，兔子（任务1）修改了变量 a ，等待树…
阅读更多...
vulnhub靶场之FunBox-1

vulnhub靶场之FunBox-1

一.环境搭建 1.靶场描述 Boot2Root ! This is a reallife szenario, but easy going. You have to enumerate and understand the szenario to get the root-flag in round about 20min. This VM is created/tested with Virtualbox. Maybe it works with vmware. If you n…
阅读更多...
81、动态规划-爬楼梯

81、动态规划-爬楼梯

思路: 爬楼梯是一个特别经典的动态规划题，动态规划最好的办法就是从递归改到动态规划。 比如现在n阶楼梯，每次爬1阶或者2阶，一共有多少种方法。那么我就可以全排列，比如当前我可以走一阶算一下有多少种方法，然后我可…
阅读更多...
1.C#图像区域分割与提取

1.C#图像区域分割与提取

（1）创建一个名为SplitImage的窗体的应用程序，将窗体改名为FormSplitImage。 （2）创建一个名为ImageProcessingLibrary的类库程序，为该工程添加名为ImageProcessing的静态类 （3）为Imag…
阅读更多...
负债56亿,购买理财产品遭违约,操纵虚假粉丝,流量在下滑,客户数量减少,汽车之家面临大量风险（一）

负债56亿,购买理财产品遭违约,操纵虚假粉丝,流量在下滑,客户数量减少,汽车之家面临大量风险（一）

本文由猛兽财经历时5个多月完成。猛兽财经将通过以下二十二个章节、8万字以上的内容来全面、深度的分析汽车之家这家公司。 由于篇幅限制，全文分为（一）到（十）篇发布。 本文为全文的第一章、第二章、第三章。 目录…
阅读更多...
Linux的软件包管理器-yum

Linux的软件包管理器-yum

文章目录 软件包的概念yum源的配置的原因yum的使用查看软件包安装软件卸载软件 软件包的概念 软件包(SoftWare Package)是指具有特定的功能，用来完成特定任务的一个程序或一组程序。可分为应用软件包和系统软件包两大类 在Linux系统中，下载安装软件的方式…
阅读更多...
web自动化时，关闭浏览器“正受自动化控制“提示语和关闭保存密码提示框

web自动化时，关闭浏览器“正受自动化控制“提示语和关闭保存密码提示框

1、问题描述： 问题1：期望关闭"Chrome正在被自动测试软件控制"提示语 问题2：关闭谷歌浏览器--是否保存密码弹窗 2、解决 from selenium.webdriver.chrome.options import Options from selenium import webdriveroptions Options…
阅读更多...
Leetcode—857. 雇佣 K 名工人的最低成本【困难】（DBL_MAX)

Leetcode—857. 雇佣 K 名工人的最低成本【困难】（DBL_MAX)

2024每日刷题&#xff08;124&#xff09; Leetcode—857. 雇佣 K 名工人的最低成本 算法思想 实现算法 class Solution { public:double mincostToHireWorkers(vector<int>& quality, vector<int>& wage, int k) {double ans DBL_MAX;priority_queue&l…
阅读更多...
canal 自定义客户端 优雅实现 (3)

canal 自定义客户端 优雅实现 (3)

1、为啥要有数据同步&#xff1f; 比如要做一些推荐或者其他与业务不强依赖的业务&#xff0c;这个时候&#xff0c;又不想直接去业务库取数据或者查数据进行计算&#xff0c;但是又需要业务库的某些数据&#xff1a; 比如用户行为。。。等 2、有很多数据同步&#xff0c;为啥…
阅读更多...
【RAG 论文】Selfmem：使用 LLM 自己的输出来作为下一轮的 context 从而提升自己的生成效果

【RAG 论文】Selfmem：使用 LLM 自己的输出来作为下一轮的 context 从而提升自己的生成效果

论文&#xff1a;Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory ⭐⭐⭐⭐ NeurIPS 2023&#xff0c;北大 文章目录 一、论文速读二、实现细节2.1 检索增强的 Generator2.2 Memory Selector2.3 Generator 的两种 mode 总结 一、论文速读 在以为 RAG…
阅读更多...
LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南 阿里云于 2023年8 月 3 日开源通义千问 70 亿参数模型，包括通用模型 Qwen-7B 以及对话模型 Qwen-7B-Chat，这也是国内首个开源自家大模型的大厂。在诸多权威大模型能力测评基准上，如 MMLU、C-Eval、…
阅读更多...
规控不分家，实际岗位职责是如何划分的

规控不分家，实际岗位职责是如何划分的

1. 实践和演练 2. 自动驾驶技术分类 3. 自动驾驶关键技术 4. 自动驾驶架构 5. 感知perception
阅读更多...
最新文章

Copyright @ 2022~2023