【Linux系统】Ubuntu 缓冲区机制

在Ubuntu中，和其他操作系统有个不一样的机制：缓冲区。这篇文章是对与缓冲区的详细介绍。

在 Ubuntu 中（以及其他基于 Linux 的操作系统），缓冲区（Buffer）是内核用于优化 I/O 操作的重要机制。它通过在内存中暂存数据，减少对磁盘等慢速设备的直接访问，从而提升系统性能。缓冲区机制主要涉及 缓存（Cache） 和 缓冲（Buffer） 两个核心概念。以下是 Ubuntu 缓冲区机制的详细介绍，包括其原理、分类和工作机制。

缓冲与缓存的区别

在 Linux 系统中，缓冲区和缓存是两个相关但不同的概念：

缓冲（Buffer）
缓冲是指内核用于写入操作的数据暂存区。当数据从内存写入到磁盘或其他外设时，系统会先将数据存储到缓冲区中，然后批量写入到磁盘，以减少磁盘 I/O 操作的频率。

这么做可以优化写入性能。减少磁盘的物理写入次数，延长磁盘寿命。
缓冲主要用于 写操作。数据通常是即将写入磁盘或外设的数据。

缓存（Cache）
缓存是指内核用于 读取操作 的数据暂存区。当数据从磁盘读取到内存时，系统会将数据存储到缓存中，以便后续访问时可以直接从内存读取，而不必再次访问磁盘。

这么做能够提高读取性能。减少磁盘的读取次数，提高系统响应速度。
缓存主要用于 读操作。数据通常是最近读取的数据。

特性	缓冲（Buffer）	缓存（Cache）
主要用途	写操作优化	读操作优化
数据来源	用户空间即将写入磁盘的数据	从磁盘读取到内存的数据
目标设备	磁盘或其他外设	内存
生命周期	数据写入磁盘后清除	数据可能会保留一段时间，直到被替换

Ubuntu 缓冲区的工作机制

Ubuntu 和其他 Linux 系统的缓冲区机制由内核管理，主要通过以下机制实现：

页缓存（Page Cache）
页缓存是 Linux 文件系统中的核心组件，用于在内存中缓存磁盘上的文件数据。当文件被读取时，数据会被加载到页缓存中。如果后续访问相同的数据，则直接从页缓存中读取，而无需再次访问磁盘。

页缓存的工作流程：

用户请求读取文件。
内核检查页缓存中是否已有该文件的数据。
- 如果存在，直接从页缓存读取（称为 缓存命中）。
- 如果不存在，从磁盘加载文件数据到页缓存，然后返回给用户（称为 缓存未命中）。
页缓存中的数据会根据内存压力和访问频率被替换。

页缓存的优点：① 提升文件读取性能。② 减少磁盘读取次数。

写缓冲（Write Buffering）
写缓冲用于暂存用户写入的数据。数据先写入到缓冲区中，稍后再批量写入磁盘（称为 “延迟写入”）。写缓冲通过减少频繁的小写操作来优化磁盘性能。

写缓冲的工作流程：

用户请求写入文件。
数据首先写入到内核缓冲区（内存中）。
内核根据调度策略（如延迟写入或同步写入），将缓冲区数据刷入磁盘。
- 延迟写入：数据在缓冲区中保留一段时间，等待批量写入磁盘。
- 同步写入：立即将缓冲区中的数据写入磁盘。

写缓冲的优点：① 减少磁盘写入次数，提高写入性能。② 延长磁盘寿命。

缓冲区机制的关键技术

内存管理中的缓冲与缓存

Linux 内存分为 内核空间 和 用户空间，缓冲区和缓存主要由内核空间管理。
缓冲区和缓存动态占用内存，内核会根据内存压力调整缓冲区和缓存的大小。

脏页（Dirty Pages）

当缓存中的数据被修改而尚未写入磁盘时，这些数据被称为脏页。
内核通过 脏页回写机制 将脏页中的数据写入磁盘：
- pdflush 线程（旧版本 Linux）或 writeback 子系统管理脏页回写。
- 回写触发条件：
  - 缓冲区达到一定比例。
  - 超过预设的延迟写入时间。

文件系统缓冲区

文件系统（如 ext4、xfs）在底层实现了块缓冲区，用于管理对磁盘块的访问。
块缓冲区和页缓存协作工作，进一步优化 I/O 性能。

查看和管理缓冲区

在 Ubuntu 中，可以通过以下工具查看和管理缓冲区的使用情况：
1. 查看内存中的缓冲和缓存
使用 free 命令：

free -h

输出：

total        used        free      shared   buff/cache   available
Mem:         7.8G        3.2G       2.1G       200M        2.5G         4.0G
Swap:        2.0G          0B       2.0G

buff/cache：表示缓冲区和缓存占用的内存。
available：表示可用内存，包括未使用的内存和可回收的缓冲区/缓存。

2. 查看页缓存和脏页
使用 vmstat 命令：

vmstat -a

输出：

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa1  0      0  2156M   105M  2432M    0    0    10    15   45   60  2  1 97  0

buff：缓冲区使用的内存。
cache：缓存使用的内存。

3. 手动释放缓冲区和缓存
在某些情况下（如内存压力过大），可以手动清理缓冲区和缓存：

sudo sync          # 同步数据到磁盘
sudo echo 3 > /proc/sys/vm/drop_caches

/proc/sys/vm/drop_caches 的值：
- 1：释放页缓存。
- 2：释放 目录树 和 inode 缓存。
- 3：同时释放 页缓存 和 目录树/inode 缓存。

缓冲区的性能优化

1. 文件系统优化

使用支持日志功能的文件系统（如 ext4、xfs）提高写入可靠性。
调整文件系统挂载选项：
- noatime：禁用访问时间更新，减少 I/O。
- data=writeback：加速写入操作。

2. 调整内核参数
通过调整内核参数优化缓冲区性能：

sudo sysctl -w vm.dirty_background_ratio=10    # 设置后台回写的阈值
sudo sysctl -w vm.dirty_ratio=20               # 设置脏页占内存的最大比例
sudo sysctl -w vm.dirty_writeback_centisecs=500 # 设置脏页回写间隔