1. Linux 内存管理架构全景Linux内核的内存管理系统堪称现代操作系统设计的典范之作。作为一个从1991年发展至今的成熟系统其内存管理机制经历了无数次迭代优化形成了今天我们看到的多层次、高效率的架构体系。理解这套机制不仅对内核开发者至关重要对系统管理员、性能调优工程师乃至应用开发者都有极大帮助。内存管理的核心任务可以概括为三个关键问题如何高效分配和回收内存如何隔离不同进程的内存空间如何让有限的物理内存满足看似无限的进程需求Linux用虚拟内存技术、伙伴系统和slab分配器的组合拳完美回答了这些问题。在物理层面现代计算机的内存被组织为连续的页框page frame阵列。每个页框通常为4KB大小在支持大页的系统上也可以是2MB或1GB。内核需要跟踪每个页框的状态——是空闲还是已分配被谁使用能否回收等。这就是伙伴系统的基础工作。而在进程视角每个程序都以为自己独占了整个内存空间。32位系统看到的是4GB地址空间64位系统则高达128TB。这种幻觉由虚拟内存机制实现通过页表将虚拟地址转换为物理地址。当进程访问的虚拟地址没有对应物理页时就会触发缺页异常内核介入处理。关键点Linux采用按需分页demand paging策略只有实际被访问的内存才会分配物理页框这极大提高了内存利用率。内存管理子系统的主要组件包括虚拟内存管理mm模块处理地址空间、页表、缺页异常等伙伴系统buddy allocator管理物理页框的分配与回收Slab分配器slab allocator高效管理内核对象缓存交换系统swap将不活跃的页换出到磁盘内存控制组cgroups限制和监控内存使用这些组件协同工作构成了Linux高效、灵活的内存管理体系。下面我们将深入剖析其中最核心的三个机制虚拟地址空间、伙伴系统和slab分配器。2. 虚拟地址空间详解2.1 地址空间布局在Linux中每个进程都有自己的虚拟地址空间。在32位系统上这通常被划分为用户空间0-3GB和内核空间3-4GB。64位系统的布局则更为灵活用户空间通常占据低128TB内核空间占据高128TB。典型的用户空间布局如下可通过/proc/[pid]/maps查看00400000-00401000 r-xp 00000000 08:01 393217 /bin/cat # 代码段 00600000-00601000 r--p 00000000 08:01 393217 /bin/cat # 数据段 00601000-00602000 rw-p 00001000 08:01 393217 /bin/cat # 已初始化数据 022d9000-022fa000 rw-p 00000000 00:00 0 [heap] # 堆 7f3d90000000-7f3d90210000 rw-p 00000000 00:00 0 # 匿名映射 7f3d90210000-7f3d94000000 ---p 00000000 00:00 0 # 保护页 7ffd9d5e7000-7ffd9d608000 rw-p 00000000 00:00 0 [stack] # 栈 ffffffffff600000-ffffffffff601000 r-xp 00000000 00:00 0 [vsyscall] # 系统调用内核空间则包含以下关键区域直接映射区物理内存的线性映射用于快速访问vmalloc区非连续物理内存的映射持久内核映射区长期驻留的内核数据结构固定映射区特殊用途的固定地址映射2.2 页表与地址转换虚拟到物理地址的转换通过页表page table完成。现代处理器采用多级页表结构以减少内存占用。x86_64架构使用4级页表虚拟地址 [63:48] [47:39] [38:30] [29:21] [20:12] [11:0] 符号扩展 PML4 PDPT PD PT Offset转换过程由MMU硬件完成大致步骤如下从CR3寄存器获取顶级页表(PML4)物理地址用PML4索引找到下一级页表(PDPT)项依次查找PDPT→PD→PT最终获得物理页框地址将页内偏移加到物理页框基址上得到最终物理地址如果某级页表项显示页面不存在Present0则触发缺页异常。内核的缺页处理程序会根据访问类型读/写、地址位置等决定是否允许访问必要时分配物理页并建立映射。性能提示频繁的页表遍历会带来性能开销因此CPU使用TLBTranslation Lookaside Buffer缓存最近使用的转换结果。合理的内存访问模式应考虑TLB locality。2.3 内存区域VMAs管理内核使用vm_area_struct结构体描述进程地址空间中的每个独立区域。所有VMAs以红黑树组织便于快速查找同时按地址顺序链接为链表便于顺序遍历。当进程通过malloc()申请内存时libc的内存分配器首先尝试在现有堆区域中满足请求若空间不足则通过brk()系统调用扩展堆顶对于大块内存可能直接使用mmap()创建新VMA内核处理brk/mmap时检查地址范围是否与现有VMAs冲突合并相邻的兼容区域相同权限、后备存储等创建新的VMA结构并插入红黑树更新页表实际物理页按需分配3. 伙伴系统物理内存管理核心3.1 基本工作原理伙伴系统Buddy System是Linux物理内存管理的基石负责页框的分配与回收。其核心思想是将空闲页框组织为不同大小的块每个块大小为2的幂次方页并在分配时尽可能满足最小适合块。主要数据结构每个内存区域zone维护一组free_area链表free_area[N]包含所有大小为2^N页的空闲块每个空闲块的首页包含描述信息通过page结构体分配流程以申请4页为例检查free_area[2]2^24页是否有空闲块若无检查更大的free_area[3]8页找到8页块后将其分裂为两个4页的伙伴块分配其中一个4页块将另一个加入free_area[2]若free_area[3]也无空闲继续向上查找直到最大阶数释放流程将释放的块加入对应free_area检查其伙伴块是否也空闲地址相邻、同大小、同属于一个更大块若伙伴空闲合并两者为一个更大的块重复合并过程直到无法继续合并或达到最大阶数3.2 区域Zone划分与水位控制Linux将物理内存划分为多个zone主要由于硬件限制ZONE_DMA可用于DMA操作的内存通常16MBZONE_DMA3232位设备可寻址的内存64位系统ZONE_NORMAL常规内存直接映射到内核空间ZONE_HIGHMEM高端内存32位系统上内核不能直接访问每个zone独立维护伙伴系统数据结构并有三个水位标记高水位high内存充足时的水平低水位low开始回收内存的阈值最低水位min严重内存压力下的阈值内核的kswapd守护进程根据水位定期回收内存。当分配请求到达且空闲内存低于low时会触发直接回收direct reclaim可能导致进程阻塞。3.3 分配器API与标志内核提供多种分配函数最常用的有// 分配2^order个连续页框返回page结构指针 struct page *alloc_pages(gfp_t gfp_mask, unsigned int order); // 同上但返回虚拟地址 void *__get_free_pages(gfp_t gfp_mask, unsigned int order); // 最常用的包装函数分配单页 unsigned long get_zeroed_page(gfp_t gfp_mask);分配标志gfp_mask分为三类作用域标志指定从哪里分配如__GFP_DMA行为修饰符控制分配行为如__GFP_WAIT表示可阻塞类型标志常用组合如GFP_KERNEL表示内核常规分配常见类型标志GFP_ATOMIC原子上下文使用不会休眠GFP_KERNEL常规内核分配可能阻塞GFP_USER用户空间分配GFP_HIGHUSER用户空间高端内存分配4. Slab分配器对象缓存优化4.1 设计原理伙伴系统以页为单位管理内存而内核频繁创建销毁的小对象如task_struct, inode等如果直接使用页分配器会导致内部碎片对象大小通常远小于一页初始化开销频繁构造/析构相同类型的对象Slab分配器通过对象缓存解决这些问题每个缓存管理同一类型的对象从伙伴系统获取页框后划分为多个对象槽维护空闲对象链表快速分配释放保留对象构造/析构状态避免重复初始化三种主要结构kmem_cache缓存描述符包含对象大小、对齐等属性slab由一或多个页框组成的对象存储块object实际分配的内存单元4.2 缓存类型与APILinux中有三种slab缓存专用缓存为特定类型创建如task_struct通用缓存提供大小通常为2^n的缓存kmalloc-32等DMA缓存用于DMA操作的缓存主要API// 创建新缓存 struct kmem_cache *kmem_cache_create(const char *name, size_t size, size_t align, unsigned long flags, void (*ctor)(void *)); // 从缓存分配对象 void *kmem_cache_alloc(struct kmem_cache *cachep, gfp_t flags); // 释放对象回缓存 void kmem_cache_free(struct kmem_cache *cachep, void *objp); // 销毁缓存 void kmem_cache_destroy(struct kmem_cache *cachep); // 通用缓存分配最常用 void *kmalloc(size_t size, gfp_t flags); void kfree(const void *objp);4.3 调试与优化Slab分配器提供丰富的调试功能红区检测Red Zone在对象周围插入警戒区检测越界对象毒化Poisoning用特定模式填充对象检测使用未初始化内存分配追踪记录分配调用栈通过/proc/slabinfo可查看所有缓存状态# name active_objs num_objs objsize objperslab pagesperslab task_struct 678 720 2688 3 8 inode_cache 4560 4680 592 13 8 dentry 8925 9450 192 21 1优化建议频繁使用的对象应创建专用缓存注意对象对齐要求通过align参数指定合理设置构造函数/析构函数避免重复初始化监控slabinfo中的内存使用情况5. 高级主题与性能调优5.1 大页Huge Page支持传统4KB页面对大内存应用如数据库会导致TLB miss增加页表遍历开销大缺页异常频繁Linux支持2MB/1GB大页可通过# 查看大页信息 cat /proc/meminfo | grep Huge # 预留大页 echo 20 /proc/sys/vm/nr_hugepages使用方式通过mmap的MAP_HUGETLB标志透明大页THP内核自动合并小页为大页文件系统大页hugetlbfs5.2 内存压缩与交换当内存紧张时Linux会内存压缩zswap/z3fold将不活跃页压缩存储页回写将脏页写回文件系统交换swap将匿名页换出到交换分区交换相关参数调优# 控制交换倾向0-100值越大越倾向交换 echo 10 /proc/sys/vm/swappiness # 控制脏页写回阈值 echo 20 /proc/sys/vm/dirty_ratio5.3 内存碎片处理长期运行后可能出现外部碎片空闲内存分散无法满足大块请求内部碎片分配单元未充分利用解决方法内存规整Compaction迁移页面创造连续空间CMAContiguous Memory Allocator预留连续区域及早分配策略在内存充足时预留大块5.4 监控与调试工具常用工具/proc/meminfo整体内存使用情况/proc/[pid]/smaps进程详细内存映射vmstat 1实时内存统计slabtopslab缓存使用情况numastatNUMA内存分配统计perf内存相关性能事件分析典型问题排查流程用free -m确认内存紧张是否真实存在通过vmstat观察swap in/out、缺页率等用slabtop检查内核对象是否占用过多内存分析/proc/meminfo确定内存具体去向必要时使用kmemleak检测内核内存泄漏6. 实战案例分析6.1 内存泄漏排查症状系统可用内存持续减少最终OOM killer终止进程排查步骤确认非缓存/buffer占用watch -n 1 cat /proc/meminfo | grep -E MemFree|Cached|Buffers检查slab使用cat /proc/meminfo | grep Slab slabtop -o定位具体缓存grep -l kmem_cache.*size-512 /proc/slabinfo | xargs -I{} grep {} /proc/slabinfo使用kmemleak检测echo scan /sys/kernel/debug/kmemleak cat /sys/kernel/debug/kmemleak6.2 性能调优实例场景数据库服务器频繁出现直接内存回收优化措施增加大页使用echo 1024 /proc/sys/vm/nr_hugepages调整swappinessecho 5 /proc/sys/vm/swappiness优化脏页写回echo 50 /proc/sys/vm/dirty_ratio echo 10 /proc/sys/vm/dirty_background_ratio启用内存压缩echo 1 /proc/sys/vm/compaction_proactiveness6.3 内核模块内存管理示例编写内核模块时典型的内存操作#include linux/module.h #include linux/slab.h static int __init test_init(void) { struct my_struct *obj; // 从专用缓存分配 obj kmem_cache_alloc(my_cache, GFP_KERNEL); if (!obj) return -ENOMEM; // 通用分配 buf kmalloc(BUF_SIZE, GFP_KERNEL); // 获取页框 pages alloc_pages(GFP_KERNEL, order); return 0; } static void __exit test_exit(void) { // 释放资源 kmem_cache_free(my_cache, obj); kfree(buf); __free_pages(pages, order); } module_init(test_init); module_exit(test_exit);注意事项原子上下文必须使用GFP_ATOMIC分配失败必须处理确保分配与释放配对注意内存泄漏和越界访问 
长河君 · 2026/10/29 19:14:38 · 阅读 1.2k Linux内存管理机制：虚拟内存、伙伴系统与Slab分配器详解
1. Linux 内存管理架构全景Linux内核的内存管理系统堪称现代操作系统设计的典范之作。作为一个从1991年发展至今的成熟系统其内存管理机制经历了无数次迭代优化形成了今天我们看到的多层次、高效率的架构体系。理解这套机制不仅对内核开发者至关重要对系统管理员、性能调优工程师乃至应用开发者都有极大帮助。内存管理的核心任务可以概括为三个关键问题如何高效分配和回收内存如何隔离不同进程的内存空间如何让有限的物理内存满足看似无限的进程需求Linux用虚拟内存技术、伙伴系统和slab分配器的组合拳完美回答了这些问题。在物理层面现代计算机的内存被组织为连续的页框page frame阵列。每个页框通常为4KB大小在支持大页的系统上也可以是2MB或1GB。内核需要跟踪每个页框的状态——是空闲还是已分配被谁使用能否回收等。这就是伙伴系统的基础工作。而在进程视角每个程序都以为自己独占了整个内存空间。32位系统看到的是4GB地址空间64位系统则高达128TB。这种幻觉由虚拟内存机制实现通过页表将虚拟地址转换为物理地址。当进程访问的虚拟地址没有对应物理页时就会触发缺页异常内核介入处理。关键点Linux采用按需分页demand paging策略只有实际被访问的内存才会分配物理页框这极大提高了内存利用率。内存管理子系统的主要组件包括虚拟内存管理mm模块处理地址空间、页表、缺页异常等伙伴系统buddy allocator管理物理页框的分配与回收Slab分配器slab allocator高效管理内核对象缓存交换系统swap将不活跃的页换出到磁盘内存控制组cgroups限制和监控内存使用这些组件协同工作构成了Linux高效、灵活的内存管理体系。下面我们将深入剖析其中最核心的三个机制虚拟地址空间、伙伴系统和slab分配器。2. 虚拟地址空间详解2.1 地址空间布局在Linux中每个进程都有自己的虚拟地址空间。在32位系统上这通常被划分为用户空间0-3GB和内核空间3-4GB。64位系统的布局则更为灵活用户空间通常占据低128TB内核空间占据高128TB。典型的用户空间布局如下可通过/proc/[pid]/maps查看00400000-00401000 r-xp 00000000 08:01 393217 /bin/cat # 代码段 00600000-00601000 r--p 00000000 08:01 393217 /bin/cat # 数据段 00601000-00602000 rw-p 00001000 08:01 393217 /bin/cat # 已初始化数据 022d9000-022fa000 rw-p 00000000 00:00 0 [heap] # 堆 7f3d90000000-7f3d90210000 rw-p 00000000 00:00 0 # 匿名映射 7f3d90210000-7f3d94000000 ---p 00000000 00:00 0 # 保护页 7ffd9d5e7000-7ffd9d608000 rw-p 00000000 00:00 0 [stack] # 栈 ffffffffff600000-ffffffffff601000 r-xp 00000000 00:00 0 [vsyscall] # 系统调用内核空间则包含以下关键区域直接映射区物理内存的线性映射用于快速访问vmalloc区非连续物理内存的映射持久内核映射区长期驻留的内核数据结构固定映射区特殊用途的固定地址映射2.2 页表与地址转换虚拟到物理地址的转换通过页表page table完成。现代处理器采用多级页表结构以减少内存占用。x86_64架构使用4级页表虚拟地址 [63:48] [47:39] [38:30] [29:21] [20:12] [11:0] 符号扩展 PML4 PDPT PD PT Offset转换过程由MMU硬件完成大致步骤如下从CR3寄存器获取顶级页表(PML4)物理地址用PML4索引找到下一级页表(PDPT)项依次查找PDPT→PD→PT最终获得物理页框地址将页内偏移加到物理页框基址上得到最终物理地址如果某级页表项显示页面不存在Present0则触发缺页异常。内核的缺页处理程序会根据访问类型读/写、地址位置等决定是否允许访问必要时分配物理页并建立映射。性能提示频繁的页表遍历会带来性能开销因此CPU使用TLBTranslation Lookaside Buffer缓存最近使用的转换结果。合理的内存访问模式应考虑TLB locality。2.3 内存区域VMAs管理内核使用vm_area_struct结构体描述进程地址空间中的每个独立区域。所有VMAs以红黑树组织便于快速查找同时按地址顺序链接为链表便于顺序遍历。当进程通过malloc()申请内存时libc的内存分配器首先尝试在现有堆区域中满足请求若空间不足则通过brk()系统调用扩展堆顶对于大块内存可能直接使用mmap()创建新VMA内核处理brk/mmap时检查地址范围是否与现有VMAs冲突合并相邻的兼容区域相同权限、后备存储等创建新的VMA结构并插入红黑树更新页表实际物理页按需分配3. 伙伴系统物理内存管理核心3.1 基本工作原理伙伴系统Buddy System是Linux物理内存管理的基石负责页框的分配与回收。其核心思想是将空闲页框组织为不同大小的块每个块大小为2的幂次方页并在分配时尽可能满足最小适合块。主要数据结构每个内存区域zone维护一组free_area链表free_area[N]包含所有大小为2^N页的空闲块每个空闲块的首页包含描述信息通过page结构体分配流程以申请4页为例检查free_area[2]2^24页是否有空闲块若无检查更大的free_area[3]8页找到8页块后将其分裂为两个4页的伙伴块分配其中一个4页块将另一个加入free_area[2]若free_area[3]也无空闲继续向上查找直到最大阶数释放流程将释放的块加入对应free_area检查其伙伴块是否也空闲地址相邻、同大小、同属于一个更大块若伙伴空闲合并两者为一个更大的块重复合并过程直到无法继续合并或达到最大阶数3.2 区域Zone划分与水位控制Linux将物理内存划分为多个zone主要由于硬件限制ZONE_DMA可用于DMA操作的内存通常16MBZONE_DMA3232位设备可寻址的内存64位系统ZONE_NORMAL常规内存直接映射到内核空间ZONE_HIGHMEM高端内存32位系统上内核不能直接访问每个zone独立维护伙伴系统数据结构并有三个水位标记高水位high内存充足时的水平低水位low开始回收内存的阈值最低水位min严重内存压力下的阈值内核的kswapd守护进程根据水位定期回收内存。当分配请求到达且空闲内存低于low时会触发直接回收direct reclaim可能导致进程阻塞。3.3 分配器API与标志内核提供多种分配函数最常用的有// 分配2^order个连续页框返回page结构指针 struct page *alloc_pages(gfp_t gfp_mask, unsigned int order); // 同上但返回虚拟地址 void *__get_free_pages(gfp_t gfp_mask, unsigned int order); // 最常用的包装函数分配单页 unsigned long get_zeroed_page(gfp_t gfp_mask);分配标志gfp_mask分为三类作用域标志指定从哪里分配如__GFP_DMA行为修饰符控制分配行为如__GFP_WAIT表示可阻塞类型标志常用组合如GFP_KERNEL表示内核常规分配常见类型标志GFP_ATOMIC原子上下文使用不会休眠GFP_KERNEL常规内核分配可能阻塞GFP_USER用户空间分配GFP_HIGHUSER用户空间高端内存分配4. Slab分配器对象缓存优化4.1 设计原理伙伴系统以页为单位管理内存而内核频繁创建销毁的小对象如task_struct, inode等如果直接使用页分配器会导致内部碎片对象大小通常远小于一页初始化开销频繁构造/析构相同类型的对象Slab分配器通过对象缓存解决这些问题每个缓存管理同一类型的对象从伙伴系统获取页框后划分为多个对象槽维护空闲对象链表快速分配释放保留对象构造/析构状态避免重复初始化三种主要结构kmem_cache缓存描述符包含对象大小、对齐等属性slab由一或多个页框组成的对象存储块object实际分配的内存单元4.2 缓存类型与APILinux中有三种slab缓存专用缓存为特定类型创建如task_struct通用缓存提供大小通常为2^n的缓存kmalloc-32等DMA缓存用于DMA操作的缓存主要API// 创建新缓存 struct kmem_cache *kmem_cache_create(const char *name, size_t size, size_t align, unsigned long flags, void (*ctor)(void *)); // 从缓存分配对象 void *kmem_cache_alloc(struct kmem_cache *cachep, gfp_t flags); // 释放对象回缓存 void kmem_cache_free(struct kmem_cache *cachep, void *objp); // 销毁缓存 void kmem_cache_destroy(struct kmem_cache *cachep); // 通用缓存分配最常用 void *kmalloc(size_t size, gfp_t flags); void kfree(const void *objp);4.3 调试与优化Slab分配器提供丰富的调试功能红区检测Red Zone在对象周围插入警戒区检测越界对象毒化Poisoning用特定模式填充对象检测使用未初始化内存分配追踪记录分配调用栈通过/proc/slabinfo可查看所有缓存状态# name active_objs num_objs objsize objperslab pagesperslab task_struct 678 720 2688 3 8 inode_cache 4560 4680 592 13 8 dentry 8925 9450 192 21 1优化建议频繁使用的对象应创建专用缓存注意对象对齐要求通过align参数指定合理设置构造函数/析构函数避免重复初始化监控slabinfo中的内存使用情况5. 高级主题与性能调优5.1 大页Huge Page支持传统4KB页面对大内存应用如数据库会导致TLB miss增加页表遍历开销大缺页异常频繁Linux支持2MB/1GB大页可通过# 查看大页信息 cat /proc/meminfo | grep Huge # 预留大页 echo 20 /proc/sys/vm/nr_hugepages使用方式通过mmap的MAP_HUGETLB标志透明大页THP内核自动合并小页为大页文件系统大页hugetlbfs5.2 内存压缩与交换当内存紧张时Linux会内存压缩zswap/z3fold将不活跃页压缩存储页回写将脏页写回文件系统交换swap将匿名页换出到交换分区交换相关参数调优# 控制交换倾向0-100值越大越倾向交换 echo 10 /proc/sys/vm/swappiness # 控制脏页写回阈值 echo 20 /proc/sys/vm/dirty_ratio5.3 内存碎片处理长期运行后可能出现外部碎片空闲内存分散无法满足大块请求内部碎片分配单元未充分利用解决方法内存规整Compaction迁移页面创造连续空间CMAContiguous Memory Allocator预留连续区域及早分配策略在内存充足时预留大块5.4 监控与调试工具常用工具/proc/meminfo整体内存使用情况/proc/[pid]/smaps进程详细内存映射vmstat 1实时内存统计slabtopslab缓存使用情况numastatNUMA内存分配统计perf内存相关性能事件分析典型问题排查流程用free -m确认内存紧张是否真实存在通过vmstat观察swap in/out、缺页率等用slabtop检查内核对象是否占用过多内存分析/proc/meminfo确定内存具体去向必要时使用kmemleak检测内核内存泄漏6. 实战案例分析6.1 内存泄漏排查症状系统可用内存持续减少最终OOM killer终止进程排查步骤确认非缓存/buffer占用watch -n 1 cat /proc/meminfo | grep -E MemFree|Cached|Buffers检查slab使用cat /proc/meminfo | grep Slab slabtop -o定位具体缓存grep -l kmem_cache.*size-512 /proc/slabinfo | xargs -I{} grep {} /proc/slabinfo使用kmemleak检测echo scan /sys/kernel/debug/kmemleak cat /sys/kernel/debug/kmemleak6.2 性能调优实例场景数据库服务器频繁出现直接内存回收优化措施增加大页使用echo 1024 /proc/sys/vm/nr_hugepages调整swappinessecho 5 /proc/sys/vm/swappiness优化脏页写回echo 50 /proc/sys/vm/dirty_ratio echo 10 /proc/sys/vm/dirty_background_ratio启用内存压缩echo 1 /proc/sys/vm/compaction_proactiveness6.3 内核模块内存管理示例编写内核模块时典型的内存操作#include linux/module.h #include linux/slab.h static int __init test_init(void) { struct my_struct *obj; // 从专用缓存分配 obj kmem_cache_alloc(my_cache, GFP_KERNEL); if (!obj) return -ENOMEM; // 通用分配 buf kmalloc(BUF_SIZE, GFP_KERNEL); // 获取页框 pages alloc_pages(GFP_KERNEL, order); return 0; } static void __exit test_exit(void) { // 释放资源 kmem_cache_free(my_cache, obj); kfree(buf); __free_pages(pages, order); } module_init(test_init); module_exit(test_exit);注意事项原子上下文必须使用GFP_ATOMIC分配失败必须处理确保分配与释放配对注意内存泄漏和越界访问