第九章  虚拟存储器

一、虚拟存储器提供了三个重要能力：

　　1、将主存看作是一个存储在磁盘上的地址空间的高速缓存，在主存中只保护活动的区域，并根据需要在磁盘和主存之间来回传送数据；

　　2、为每个进程提供了一致的地址空间，从而简化了存储器管理；

　　3、保护了每个进程的地址空间不被其它进程破坏。

二、理解虚拟存储器的原因：

　　1、虚拟存储器是中心的：它是硬件异常、硬件地址翻译、主存、磁盘文件和内核软件的交互中心；

　　2、虚拟存储器是强大的：它可以创建和销毁存储器片、可以映射存储器片映射到磁盘某个部分等等；

　　3、虚拟存储器若操作不当则十分危险。

9.1 物理和虚拟寻址

一、物理地址

物理寻址（PA）：主存中每个字节都有唯一的物理地址；依靠此来寻址，就叫做物理寻址。

二、虚拟地址

虚拟寻址（VA）：CPU生成一个虚拟地址然后用这个地址访问主存，这个虚拟地址在送到存储器之前先被转换成适当的物理地址（这个过程叫做地址翻译）。

9.2 地址空间

一、地址空间：地址空间是一个非负整数地址的有序集合：{0,1,2,……}

二、线性地址空间：地址空间中的整数是连续的。

三、虚拟地址空间：CPU从一个有 N=2^n 个地址的地址空间中生成虚拟地址，这个地址空间成为称为虚拟地址空间。

四、地址空间的大小：由表示最大地址所需要的位数来描述。N=2^n：n位地址空间。

       主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

9.3 虚拟存储器作为缓存的工具

一、首先，VM上被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。每个字节都有一个唯一的虚拟地址，这个虚拟地址是作为到数组的索引的。其次，VM系统将虚拟存储器分割为大小固定的虚拟页，每个虚拟页的大小为P=2^p字节；类似地，物理存储器被分割为物理页（也叫做页帧），大小也为P字节。

二、任意时刻，虚拟页面的集合都被分为三个不相交的子集：

　　1、未分配的：VM系统还没分配/创建的页，不占用任何磁盘空间。

　　2、缓存的：当前缓存在物理存储器中的已分配页。

　　3、未缓存的：没有缓存在物理存储器中的已分配页。

三、页表

1、作用：将虚拟页映射到物理页。每次地址翻译硬件将一个虚拟地址转换为物理地址时都会读取页表。操作系统负责维护页表中的内容。

2、结构：页表就是一个页表条目（PTE）数组；虚拟地址空间中的每个页在页表中一个固定偏移量处都有一个PTE。为了我们的目的，我们假设每个PTE是由一个有效位和一个n位的地址字段组成的。有效位表明了该物理页的起始位置，这个物理页中缓存了该虚拟页。

四、缺页

1、  DRAM缓存不命中称为缺页。

2、处理过程：

• 缺页异常调用内核中的缺页异常处理程序，该程序会选择一个牺牲页，将其换出内存；
• 内核从磁盘中拷贝需要的条目到牺牲页之前所在的位置，随后返回；
• 当异常处理程序返回之后，它会再次启动导致缺页的指令，该指令会把导致缺页的虚拟地址重发送到地址翻译硬件；
• 此时，页面命中

3、概念补充：

• 在存储器的习惯说法中，块被称为页；
• 在磁盘和存储器之间传送页的活动叫做交换或者页面调度；
• 页从磁盘换入DRAM和从DRAM换出磁盘；一直等待到不命中发生的时候才换入页面；这种策略被称为按需页面调度

五、虚拟存储器中的局部性

1、局部性原则保证了在任意时刻，程序将往往在一个较小的活动页面集合上工作，这个集合叫做工作集/常驻集。

2、 颠簸：工作集大小超出了物理存储器的大小。

9.4虚拟存储器作为存储器管理的工具

1、操作系统为每个进程提供了一个独立的页表，也就是一个独立的虚拟地址空间。

2、抖个虚拟页面可以映射到同一个共享物理页面上。

3、存储器映射：将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法。

VM简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。

9.5 虚拟存储器作为存储器保护的工具

PTE的三个许可位：

　　1、SUP：表示进程是否必须运行在内核模式下才能访问该页

　　2、READ：读权限

　　3、WRITE：写权限

9.6 地址翻译

一、地址翻译：形式上说，地址翻译是一个N元素的虚拟地址空间（VAS）中的一个元素和一个M元素的物理地址空间(PAS）之间的映射；

二、过程：

• CPU中的一个控制寄存器，页表基址寄存器指向当前页表；
• n位的虚拟地址包括以下两个部分：一个p位的虚拟页面偏移和一个（n-p）位的虚拟页号；
• MMU用后者选择适当的PTE，再将物理页号和虚拟地址中的VPO串联起来得到物理地址；
• 因为物理和虚拟页面都是P字节的，所以物理页面偏移和VPO是相同的

三、CPU执行步骤（页面命中）

• 处理器生成一个虚拟地址，并把它传递给MMU；
• MMU生成一个PTE地址，并从高速缓存/主存中请求得到它；
• 高速缓存/主存向MMU返回PTE；
• MMU构造物理地址，并把它传给高速缓存/主存；
• 高速缓存/主存返回所请求的数据字给处理器

四、CPU执行步骤（缺页）

• 处理器生成一个虚拟地址，并把它传递给MMU；
• MMU生成一个PTE地址，并从高速缓存/主存中请求得到它；
• 高速缓存/主存向MMU返回PTE；
• PTE中有效位是0，触发了一次异常，传递CPU中的控制到操作系统内核中的缺页异常处理程序；
• 缺页处理程序确定物理存储器中的牺牲页，如果这个页已经被修改了，则把它换出到磁盘；
• 缺页处理程序调入新的页面，并更新存储器中的PTE；
• 缺页处理程序返回到原来的进程，再次执行导致缺页的指令。CPU将引起缺页的虚拟地址重新发送给MMU；因为虚拟页面现在缓存在物理存储器中，所以发生命中。

9.7 案例研究

一、Core i7地址翻译

PTE有三个权限位：

　　1、R/W位：确定内容是读写还是只读

　　2、U/S位：确定是否能在用户模式访问该页

　　3、XD位：禁止执行位，64位系统中引入，可以用来禁止从某些存储器页取指令

还有两个缺页处理程序涉及到的位：

　　1、A位，引用位，实现页替换算法

　　2、D位，脏位，告诉是否必须写回牺牲页

二、Linux虚拟存储器系统

　　1、  Linux为每个进程维持了一个单独的虚拟地址空间，如图：

　　2、  linux为每个进程维持了一个单独的虚拟地址空间，其中，内核虚拟存储器位于用户栈之上；

　　3、内核虚拟存储器包含内核中的代码和数据结构，还有一些被映射到一组连续的物理页面（主要是便捷地访问特定位置，比如执行I/O操作的时候需要的位置）

　　4、linux将虚拟存储器组织成一些区域（也叫做段）的集合。一个区域就是已经存在的（已分配的）虚拟存储器的连续片；

　　　（1）意义：允许虚拟地址空间有间隙；内核不用记录那些不存在的页，这样的页也不用占用存储器；

　　　（2）区域结构：

　　　　　　　　vm_start：指向起始处

　　　　　　　　vm_end：指向结束处

　　　　　　　　vm_prot：描述这个区域包含的所有页的读写许可权限

　　　　　　　　vm_flags：是共享的还是私有的

　　　　　　　　vm_next：指向下一个区域

9.8 存储器映射

一、概念：linux（以及一些其他形式的unix）通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容；

二、类型：

　　1、unix文件系统中的普通文件：一个区域可以映射到一个普通磁盘文件的连续部分，例如一个可执行目标文件；

　　2、匿名文件：一个区域也可以映射到一个匿名文件，匿名文件由内核创建，包含的全是二进制零（CPU第一次引用这样一个区域内的虚拟页面的时候，内核就在物理存储器中找到合适的牺牲页面然后用二进制零将其覆盖）

三、共享对象和私有对象

　　1.共享对象

　　 （1）共享对象对于所有把它映射到自己的虚拟存储器进程来说都是可见的

　　 （2）即使映射到多个共享区域，物理存储器中也只需要存放共享对象的一个拷贝。

　　2.私有对象

　　 （1）私有对象运用的技术：写时拷贝

　　 （2）在物理存储器中只保存有私有对象的一份拷贝

9.9 动态存储器分配

一、堆：是一个请求二进制0的区域，紧接在未初始化的bss区域后开始，并向上（更高的地址）生长。有一个变量brk指向堆的顶部

二、分配器的两种基本风格：

　　1、显示分配器-malloc和free

　　2、隐式分配器/垃圾收集器

三、为什么要使用动态存储器分配？

　　因为经常知道程序实际运行时，它们才知道某些数据结构的大小。

四、分配器的要求和目标：

　　1、要求：

　　    （1）处理任意请求序列

　　    （2）立即响应请求

　　　（3）只使用堆

　　    （4）对齐块

　　    （5）不修改已分配的块

　　2、目标：

　　　（1）最大化吞吐率（吞吐率：每个单位时间里完成的请求数）

　　　（2）最大化存储器利用率——峰值利用率最大化

五、碎片

虽然有未使用的存储器，但是不能用来满足分配请求时，发生这种现象。

　　1、内部碎片

　　　（1）发生在一个已分配块比有效载荷大的时候

　　　（2）易于量化。

　　2、外部碎片

　　　（1）发生在当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空间块足以处理这个请求时发生

　　　（2）难以量化，不可预测。

六、隐式空闲链表

堆块的格式：由一个字的头部，有效荷载，和可能的额外填充组成。

七、放置已分配的块——放置策略

　　1、首次适配

　　　从头开始搜索空闲链表，选择第一个合适的空闲块

　　2、下一次适配

　　　从上一次搜索的结束位置开始搜索

　　3、最佳适配

　　　检索每个空闲块，选择适合所需请求大小的最小空闲块

八、申请额外的堆存储器

用到sbrk函数：

　　#include <unistd.h>

　　vid *sbrk(intptr_t incr);

　　成功则返回旧的brk指针，出错为-1

　　通过将内核的brk指针增加incr来扩展和收缩堆。

九、合并空闲块

合并是针对于假碎片问题的，任何实际的分配器都必须合并相邻的空闲块。

有两种策略：

　　1、立即合并

　　2、推迟合并

十、实现简单的分配器

实现一个简单分配器的设计，有几点是需要注意的：

　　1、序言块和结尾块：序言块是初始化时创建的，而且永不释放；结尾块是一个特殊的块，总是以它为结束。

　　2、有一个技巧，就是将重复使用的，操作复杂又有重复性的，这些可以定义成宏，方便使用也方便修改。

　　3、需要注意强制类型转换，尤其是带指针的，非常复杂。

　　4、因为规定了字节对齐方式为双字，就代表块的大小是双字的整数倍，不是的舍入到是。

十一、显式空闲链表

　　1、区别

　　　（1）分配时间

　　　　　隐式的，分配时间是块总数的线性时间

　　　　　显式的，是空闲块数量的线性时间。

　　　（2）链表形式

　　　　　隐式——隐式空闲链表

　　　　　显式——双向链表，有前驱和后继，比头部脚部好使。

　　2、排序策略：

　　　　　后进先出

　　　　　按照地址顺序维护

十二、分离的空闲链表

分离存储，是一种流行的减少分配时间的方法。一般思路是将所有可能的块大小分成一些等价类/大小类。

分配器维护着一个空闲链表数组，每个大小类一个空闲链表，按照大小的升序排列。

有两种基本方法：

　　1、简单分离存储

　　　　每个大小类的空闲链表包含大小相等的块，每个块的大小就是这个大小类中最大元素的大小。

　　2、分离适配

　　　　每个空闲链表是和一个大小类相关联的，并且被组织成某种类型的显示或隐式链表，每个链表包含潜在的大小不同的块，这些块的大小是大小类的成员。

　　　　这种方法快速并且对存储器使用很有效率。

　　　　分离适配的特例-----伙伴系统

　　　　其中每个大小类都是2的幂。这样，给定地址和块的大小，很容易计算出它的伙伴的地址，也就是说：一个块的地址和它的伙伴的地址只有一位不同。

　　　　优点：快速检索，快速合并。

9.10 垃圾收集

一、垃圾收集器是一种动态存储分配器，它自动释放程序不再需要的已分配块，这些块被称为垃圾，自动回收堆存储的过程叫做垃圾收集。垃圾收集器定期地识别垃圾块，并相应地调用free，将这些块放回到空闲链表中

二、垃圾收集器将存储器视作一张有向可达图，只有当存在一条从任意根节点出发并到达p的有向路径时，才说节点p是可达的，而不可达点就是垃圾。

9.11 C程序中常见的与存储器有关的错误

1、间接引用坏指针

2、读未初始化的存储器

3、允许栈缓冲区溢出

4、假设指针和它们指向的对象是相同大小的

5、造成错位错误

6、引用指针，而不是它所指向的对象

7、误解指针运算

8、引用不存在的变量

9、引用空堆块中的数据

10、引起存储器泄露

学习进度条

20145235 《信息安全系统设计基础》第十四周学习总结