Linux Kernel - Process Address Space

在进程的进程描述符（在<linux/sched.h>中定义的 task_struct 结构体就表示进程描述符）中， mm 域存放着该进程使用的内存描述符，所以 current->mm 便指向当前进程的内存描述符。 fork() 函数利用 copy_mm() 函数复制父进程的内存描述符，也就是 current->mm 域给其父进程，而子进程中的 mm_struct 结构体实际是通过文件 kernel/fork.c 中的 allocate_mm() 宏从 mm_cachep slab 缓存中分配得到的。通常，每个进程都有唯一的 mm_struct 结构体，即唯一的进程地址空间。

如果父进程希望和其子进程共享地址空间，可以在调用 clone() 时，设置 CLONE_VM 标志。我们把这样的进程称作线程。是否共享地址空间几乎是进程和 Linux 中所谓的线程间本质上的唯一区别。除此以外，Linux 内核并不区别对待它们，线程对内核来说仅仅是一个共享特定资源的进程而已。

当 CLONE_VM 被指定后，内核就不再需要调用 allocate_mm() 函数了，而仅仅需要在调用 copy_mm 函数中将 mm 域指向其父进程的内存描述符就可以了：

if (clone_flags & CLONE_VM) {
    /*
     * current 是父进程
     * tsk 在 fork() 执行期间是子进程
     */
    atomic_inc(&current->mm->mm_users);
    tsk->mm = current->mm;
 }

当进程退出时，内核会调用定义在 kernel/exit.c 中的 exit_mm() 函数，该函数执行一些常规的撤销工作，同时更新一些统计量。其中，该函数会调用 mmput() 函数减少内存描述符中的 mm_users 用户计数，如果用户计数降到零，将调用 mmdrop() 函数，减少 mm_count 使用计数。如果使用计数也等于零了，说明该内存描述符不再有任何使用者了，那么调用 free_mm() 宏通过 kmem_cache_free() 函数将 mm_struct 结构体归还到 mm_cachep slab 缓存中。

内核线程没有进程地址空间，也没有相关的内存描述符。所以内核线程对应的进程描述符中 mm 域为 NULL。事实上，这也正是内核线程的真实含义它们没有用户上下文。

VMA 标志是一种位标志，其定义见<linux/mm.h>。它包含在 vm_flags 域内，标志了内存区域所包含的页面的行为和信息。和物理页的访问权限不同，VMA 标志反映了内核处理页面所需要遵守的行为准则，而不是硬件要求。而且， vm_flags 同时也包含了内存区域中每个页面的信息，或内存区域的整体信息，而不是具体的独立页面。表 1 列出了所有 VMA 标志的可能取值。

让我们进一步看看其中有趣和重要的几种标志，VM_READ、VM_WRITE 和 VM_EXEC 标志了内存区域中页面的读、写和执行权限。这些标志根据要求组合构成 VMA 的访问控制权限，当访问 VMA 时，需要查看其访问权限。比如进程的对象代码映射区域可能会标志为 VM_READ 和 VM_EXEC，而没有标志为 VM_WRITE；另一方面，可执行对象数据段的映射区域标志为 VM_READ 和 VM_WRITE，而 VM_EXEC 标志对它就毫无意义。也就是说，只读文件数据段的映射区域仅可被标志为 VM_READ。

VM_SHARD 指明了内存区域包含的映射是否可以在多进程间共享，如果该标志被设置，则我们称其为共享映射； 如果未被设置，而仅仅只有一个进程可以使用该映射的内容，我们称它为私有映射。

VM_IO 标志内存区域中包含对设备空间的映射。该标志通常在设备驱动程序执行 mmap() 函数进行 I/O 空间映射时才被设置，同时该标志也表示该内存区域不能被包含在任何进程的存放转存（core dump）中。VM_RESERVED 标志规定了内存区域不能被换出，它也是在设备驱动程序进行映射时被设置。

VM_SEQ_READ 标志暗示内核应用程序对映射内容执行有序的（线性和连续的）读操作；这样，内核可以有选择地执行预读文件。VM_RAND_READ 标志的意义正好相反，暗示应用程序对映射内容执行随机的（非有序的）读操作。因此内核可以有选择地减少或彻底取消文件预读，所以这两个标志可以通过系统调用 madvise() 设置，设置参数分别是 MADV_SEQUENTIAL 和 MADV_RANDOM。文件预读是指在读数据时有意地按顺序多读取一些本次请求以外的数据——希望多读的数据能够很快就被用到。这种预读行为对那些顺序读取数据的应用程序有很大的好处，但是如果数据的访问是随机的那么预读显然就多余了。

vm_area_struct 结构体中的 vm_ops 域指向与指定内存区域相关的操作函数表，内核使用表中的方法操作 VMA。 vm_area_struct 作为通用对象代表了任何类型的内存区域，而操作表描述针对特定的对象实例的特定方法。

操作函数表由 vm_operations_struct 结构体表示，定义在文件<linux/mm.h>中：

struct vm_operations_struct {
    void (*open) (struct vm_area_struct *); // 当指定内存区域被加入到一个地址空间时，该函数被调用
    void (*close) (struct vm_area_struct *); // 当指定内存区域从地址空间删除时，该函数被调用
    int (*fault) (struct vm_area_struct *, struct vm_fault *); // 当没有出现在物理内存中的页面被访问时，该函数被页面故障处理调用
    int (*page_mkwrite) (struct vm_area_struct *vma, struct vm_fault *vmf); // 当某个页面为只读页面时，该函数被页面故障处理调用
    int (*access) (struct vm_area_struct *, unsigned long , // 当 get_user_pages() 函数调用失败时，该函数被 access_process_vm() 函数调用
                   void *, int, int);
};

前面介绍过，可以通过内存描述符中的 mmap （链表）和 mm_rb （红黑树）域之一访问内存区域。这两个域各自独立地指向与内存描述符相关的全体内存区域对象。其实，它们包含完全相同的 vm_area_struct 结构体的指针，仅仅组织方法不同。

链表用于需要遍历全部节点的时候，而红黑树适用于在地址空间中定位特定内存区域的时候。内核为了内存区域上的各种不同操作都能获得高性能，所以同时使用了这两种数据结构。

可以使用 /proc/<pid>/maps 文件系统或者 pmap 工具查看给定进程的内存空间和其中所含的内存区域。

下面是一个例子：

rlove@wolf:~$ cat /proc/1426/maps
00e80000-00faf000 r-xp 00000000 03:01 208530 /lib/tls/libc-2.5.1.so
00faf000-00fb2000 rw-p 0012f000 03:01 208530 /lib/tls/libc-2.5.1.so
00fb2000-00fb4000 rw-p 00000000 00:00 0
08048000-08049000 r-xp 00000000 03:03 439029 /home/rlove/src/example
08049000-0804a000 rw-p 00000000 03:03 439029 /home/rlove/src/example
40000000-40015000 r-xp 00000000 03:01 80276 /lib/ld-2.5.1.so
40015000-40016000 rw-p 00015000 03:01 80276 /lib/ld-2.5.1.so
4001e000-4001f000 rw-p 00000000 00:00 0
bfffe000-c0000000 rwxp fffff000 00:00 0

每行数据格式如下：

开始-结束   访问权限    偏移    主设备号：次设备号    inode    文件

注意没有映射文件的内存区域的设备标志为 00:00，inode 标志也为 0，这个区域就是零页——零页映射的内容全为零。

为了找到一个给定的内存地址属于哪一个内存区域，内核提供了 find_vma() 函数。该函数定义在文件<mm/mmap.c>中：

struct vm_area_struct find_vma(struct mm struct *mm, unsigned long addr);

该函数在指定的地址空间中搜索第一个 vm_end 大于 addr 的内存区域。换句话说，该函数寻找第一个包含 addr 或首地址大于 addr 的内存区域，如果没有发现这样的区域，该函数返回 NULL；否则返回指向匹配的内存区域的 vm_area_struct 结构体指针。注意，由于返回的 VMA 首地址可能大于 addr，所以指定的地址并不一定就包含在返回的 VMA 中。因为很有可能在对某个 VMA 执行操作后，还有其他更多的操作会对该 VMA 接着进行操作，所以 find_vma() 函数返回的结果被缓存在内存描述符的 mmap_cache 域中。实践证明，被缓存的 VMA 会有相当好的命中率（实践中大约 30%~40%），而且检查被缓存的 VMA 速度会很快，如果指定的地址不在缓存中，那么必须搜索和内存描述符相关的所有内存区域。这种搜索通过红黑树进行：

struct vm_area_struct * find_vma(struct mm_struct *mm, unsigned long addr)
{
    struct vm_area_struct *vma = NULL;
    if (mm) {
        vma = mm->mmap_cache;
        if (!(vma && vma->vm_end > addr && vma->vm_start <= addr)) {
            struct rb_node *rb_node;
            rb_node = mm->mm_rb.rb_node;
            vma = NULL;
            while (rb_node) {
                struct vm_area_struct * vma_tmp;
                vma_tmp = rb_entry(rb_node,
                                   struct vm_area_struct, vm_rb);
                if (vma_tmp->vm_end > addr) {
                    vma = vma_tmp;
                    if (vma_tmp->vm_start <= addr)
                        break;
                    rb_node = rb_node->rb_left;
                } else
                    rb_node = rb_node->rb_right;
            }
            if (vma)
                mm->mmap_cache = vma;
        }
    }
    return vma;
}

首先，该函数检查 mmap_cache ，看看缓存的 VMA 是否包含了所需地址。注意简单地检查 VMA 的 vm_end 是否大于 addr，并不能保证该 VMA 是第一个大于 addr 的内存区域，所以缓存要想发挥作用，就要求指定的地址必须包含在被缓存的 VMA 中——幸好，这也正是连续操作同一 VMA 必然发生的情况。

如果缓存中并未包含希望的 VMA，那么该函数必须搜索红黑树。如果当前 VMA 的 vm_end 大于 addr，进入左子节点继续搜索否则，沿右边子节点搜索，直到找到包含 addr 的 VMA 为止。如果没有包含 addr 的 VMA 被找到，那么该函数继续搜索树，并且返回大于 addr 的第一个 VMA。如果也不存在满足要求的 VMA，那该函数返回 NULL。

find_vma_prev() 函数和 find_vma() 工作方式相同，但是它返回第一个小于 addr 的 VMA。该函数定义和声明分别在文件 mm/mmap.c 中和文件<linux/mm.h>中：

struct vm_area_struct * find_vma_prev(struct mm_struct *mm, unsigned long addr,
                                      struct vm_area_struct **pprev)

pprev 参数存放指向先于 addr 的 VMA 指针。

find_vma_intersection() 函数返回第一个和指定地址区间相交的 VMA。因为该函数是内联函数，所以定义在文件<linux/mm.h>中：

static inline struct vm_area_struct *
find_vma_intersection(struct mm_struct *mm,
                      unsigned long start_addr,
                      unsigned long end_addr)
{
    struct vm_area_struct *vma;
    vma = find_vma(mm, start_addr);
    if (vma && end_addr <= vma->vm_start)
        vma = NULL;
    return vma;
}

第一个参数 mm 是要搜索的地址空间， star_addr 是区间的开始首位置， end_addr 是区间的尾位置。

显然，如果 find_vma() 返回 NULL，那么 find_vma_interesection() 也会返回 NULL。但是如果 find_vma() 返回有效的 VMA， find_vma_intersection() 只有在该 VMA 的起始位置于给定的地址区间结束位置之前，才将其返回。如果 VMA 的起始位置大于指定地址范围的结束位置，则该函数返回 NULL。

Linux 使用四级页表完成地址转换：

1. 顶级页表是页全局目录（PGD），它包含了一个 pgd_t 类型数组，多数体系结构中 pgd_t 类型等同于无符号长整型类型。PGD 中的表项指向二级页目录中的表项：PUD。
   
2. 二级页表是页上层目录（PUD），它是个 pud_t 类型数组，其中的表项指向 PMD 中的表项。
   
3. 三级页表是中间页目录（PMD），它是个 pmd_t 类型数组，其中的表项指向 PTE 中的表项。
   
4. 最后一级的页表简称页表，其中包含了 pet_t 类型的页表项，该页表项指向物理页面。
   

多数体系结构中，搜索页表的工作是由硬件完成的（至少某种程度上）。虽然通常操作中，很多使用页表的工作都可以由硬件执行，但是只有在内核正确设置页表的前提下，硬件才能方便地操作它们。图 1 描述了虚拟地址通过页表找到物理地址的过程。

每个进程都有自己的页表（当然，线程会共享页表）内存描述符的 pgd 域指向的就是进程的页全局目录。注意，操作和检索页表时必须使用 page_table_lock 锁，该锁在相应的进程的内存描述符中，以防止竞争条件。

图 2（摘自：深入理解计算机系统，第 2 版，第 9 章）更新详细地展示了 Core i7/Linux 地址转换过程。

由于几乎每次对虚拟内存中的页面访问都必须先解析它，从而得到物理内存中的对应地址，所以页表操作的性能非常关键。但不幸的是，搜索内存中的物理地址速度很有限，因此为了加快搜索，多数体系结构都实现了一个 TLB（Translation Lookaside Buffer，TLB）。 TLB 作为一个将虚拟地址映射到物理地址的硬件缓存，当请求访问一个虚拟地址时，处理器将首先检查 TLB 中是否缓存了该虚拟地址到物理地址的映射，如果在缓存中直接命中，物理地址立刻返回否则，就需要再通过页表搜索需要的物理地址。

图 3（摘自：深入理解计算机系统，第 2 版，第 9 章）展示了 TLB 的工作原理。