首页 > 代码库 > linux磁盘及文件系统管理初步（1）
linux磁盘及文件系统管理初步（1）
Linux系统管理
磁盘分区及文件系统管理
RAID
LVM：能够实现磁盘边界的动态管理
网络属性管理
程序包管理：程序包的增删查改
sed 和awk
进程查看和管理
内核管理：内核的组成部分，内核的编译安装
系统启动流程
Linux内核的定制，编译内核，busybox
系统安装：kickstart，dhcp，pxe
shell脚本编程
Linux磁盘及文件系统管理：
整个操作系统的组成部分：硬件和软件
整个操作系统的组成层次：最底层为硬件设备（这也是我们计算机能够运行的基础），在硬件设备上冯诺依曼体系定义了计算机的五大部件：
CUP：运算器和控制器，他们被整合在一起，有一个硬件部件来提供；
存储器：这里是指主存，又叫做内存设备，我们称之为ram，它是一个可编址的存储单元
寻址总线：
在我们的计算机上多个硬件部件，他们之间为了能够彼此间通信，我们需要使用线缆将其连接起来，比如说在主板上，有cpu的插槽，这个插槽我们称之为“cpu socket”
然后我们还有内存设备，cpu需要跟内存进行通信，二者之间就需要有线缆将其连接起来，cpu和内存之间的线缆，我们称之为“前端总线”，这就是FSB的连接。
计算机除了CPU和内存之外，还有很多的I/O设备，但是对于计算机来讲，他的核心部件其实也就是只有CPU和内存。其他的I/O设备都是为了完成给CPU和内存数据的输入输出的。
在众多的I/O设备中，最典型的的，最根本的应该有四个
非交互式环境下：的设备有两个
交互式环境下：设备有四个
设备有：外存（用来实现持久存储的，因为内存叫PAM，他的每一次存储都做重新充电的，因为每一次对内存的读操作以后，他会把内存中的电荷带走了，也就意味着内存中的数据没法保存下来，我们需要进行不断的刷新和充电，因此一旦断电，内存中的数据将不复存在，为了我们的系统的数据能够永久存储，所以我们需要一个辅存，这个辅存主要是实现持久存储的。辅存断电以后他的数据依然存在，所以叫持久存储。）
网卡：网卡也是在交互式环境下重要的I/O设备，对于服务器来讲，网卡就更加重要了，因为网卡是服务器向外提供服务的根本的服务口。
外存和网卡是服务器上最为常见的I/O这两个设备既能输入也能输出的I/O设备
除了外存和网卡以外，如果是一个交互式的平台，还应该有两个另外的硬件设备，分别是显示器和键盘
上面提到的这些设备，计算机是怎样连接起来的？
这么多的I/O设备，我们需要一些被称为bus总线的东西，将这些设备连接起来，但是CPU需要跟每一个设备打交道，那么难道我们就给CPU与这些设备之间单独的挨个连一根线吗，那就太麻烦了，所以早期的时候，计算机是通过桥设备，像北桥，南桥这个设备进行连接，现在的服务器架构上，这些东西已经被抛弃了，像北桥，南桥这样经典的架构体系结构是比较理解的。多以对于CPU而言，他将自己的连接机制，一并连接到北桥上，任何其他的I/O设备，告诉I/O都可以直接连接在北桥上。通过北桥汇总以后，再跟CPU连接。这是因为CPU的宿舍非常快，而各种I/O设备的速度都比较慢，所以这些I/O设备通过北桥汇总以后，连接到CPU上，由CPU负责进行数据的处理。但是众多的I/O设备中，还有许许多多更慢的组件，像PCI总线，这个更慢的I/O设备通过慢速桥，也就是南桥进行汇总连接起来，然后在一起汇总到北桥上，然后再由北桥汇总连入CPU，北桥被称为高速桥，南桥被称为低速桥。
如果有些总线希望能够高速访问的话，像PCI-E，或者想一些显卡设备，这些高速I/O是连接到北桥上的，像键盘鼠标这些慢设备是连接到南桥上的。
我们要明白我们的CPU要想跟这些设备打交道，比如跟这里的显卡或者硬盘打交道，他们必须实现这样几种的操作机制，首先CPU需要实现向这个设备发一个控制指令，比如说CPU向硬盘发起读请求，发一个控制指令，有时候这个指令是由指令控制器来完成，并且CPU还需要将这个数据加载到内存中，那么这就需要传输数据的，另外CPU还需要向内存上定位内存上每一个可用的内存空间，所以从这个本质上来讲，CPU如果能跟这些设备打交道，有可能早期的时候，就连内存都有可能是连接到北桥上的。
CPU为了能够跟这些众多的设备进行通信，那么CPU与北桥之间需要一个总线，这个总线需要有三种功能：
第一个功能：CPU要完成在内存中的寻址，定位内存中的地址，这就是地址总线；
第二个功能：CPU要发控制指令，那么这个又叫控制总线；
第三个功能：CPU要完成数据的存储读取，这个线又叫数据总线；
上面的三类总线其实是通过一组线缆实现的，因此我们将这种情况，叫线缆的复用机制。在某一时刻这个线缆只能用于传输数据，在某一时刻这个总线只能用于发送控制指令，等等
每一个I/O设备都因该连接到北桥或者南桥上，但是如果说当前主机上，将来可能用某个I/O设备。但是现在没有加怎么办？那么在主板上预留一个空间好将来进行扩展，这就叫扩展槽，所以我们在主板上预留一些PCI槽，或者叫PCI-E的槽。像现在的高速固态硬盘，性能非常好，他的就是PCI-E的。
上面谈了很多，其实主要的就是说，我们的硬盘接口，这些不同的I/O设备能够实现数据传输，那他们的方式一样吗？打个比方回答这个问题，就想我们的鼠标数据线缆传输数据的方式，和硬盘的数据传输方式会不会一样？肯定不一样。
那么CPU是怎样实现与这些通信方式不一样的设备进行交互的？
我们的CPU要想与这些设备进行通信，所以每一种设备，在这里每一种I/O设备通过一个线缆与主板上的接口连接起来的，因为他们是可插拔的。比如说，内存有内存槽，硬盘有硬盘槽，然后通过不同结构的线缆，将插槽与各种I/O设备连接起来，（IDE线缆与SATA线缆的结构是不一样，）说到这里我们应该明白，对于我们的CPU或者内存来讲，他在整个数据总线上是由CPU实现，但是真正的转化成某个地方方言时，也就是真正的跟某个I/O设备打交道时，就需要这个槽来实现，我们可以将这个槽理解为一个重要的翻译官，我们一般将这个槽叫做控制器，我们叫他为SATA控制器，或者为IDE控制器，如果我们是通过PCI槽进行扩展的话，通常叫他为适配器，这个槽的主要作用就是，把CPU能够说明白的信息，通过这个槽或者线缆，转化为特定的I/O设备能够理解的信息，也就是在CPU控制总线上说的都是官话，然后到了特定的I/O设备时，就会将这些官话转化为特性的地方话。所以他们之间的传输，也是通过一种特定的机制来传输的。
计算机中的五大部件：
CPU（包括了运算器和控制器） Memory（RAM存储器） I/O（输出设备和输入设备）
对于服务器来讲：
I/O：（磁盘）Disks, （网卡）Ehtercard
Disks：持久存储数据
硬盘接口类型：
IDE（ata）：并口，理论速率：133MB/s
SCSI：并口，
SATA：串口（是IDE接口的升级版，传输是有先有后的）理论速率：6gbps 要换成上面的大B，那么需要除以8
SAS：串口，6gps
USB：串口，480MB/s
并口：统一线缆可以接多块设备；
IDE：两个，主，从
SCSI：
宽带：可以接16-1个设备
窄带：可以连接8-1个设备
串口：同一线缆只可以接一个设备；
IOPS：Io per second ：IO次数每秒
为什么并行接口传输数据会慢呢？
解：需要并行传输数据的时候，我们需要在总线上产生数据控制，想要实现数据交换速度快的话，就需要频率要高，这就与电磁信号的传输有关了，如果频率高了后，彼此差生相互干扰的可能性是非常大的，那么数据一干扰，我们就需重新传输数据，那么我们就会限制数据交换的频率，那么数据交换的速度就会受到限制，所以说并行接口传输，速度一般是小于串行接口的。
硬盘：机械硬盘；固态硬盘；
固态硬盘：我们可以理解为内部是多个并行存取的U盘。固态硬盘有一种就扣是PCI-E接口，这种PCI-E接口的速度接近于内存的速度，
无论是机械硬盘还是固态硬盘他们的接口都是一样，无非就是IDE接口，SATA接口，或者是PCI-E接口，我们衡量一个硬盘的性能时，我们除了看他的传输速率外，我们还看另外一个指标来描述，IOPS（IO次数每秒）每一个I/O就是一个存取操作，对于IDE来讲，每秒的IO次数大约在100个左右，而SCSI接口每秒大约为150个到200个之间I/O，对于很多存取很频繁的数据服务器来讲100个左右的IO有点差，对于早期时候，人们为了扩展ipos，就是将多个硬盘连起来并行使用，比如将硬盘做成rai0，它能够拓展I/O能力，但是这种能力比固态硬盘的扩展能力就差很多了，比方说，市面上的固态硬盘IPOS在400个左右，这就是我们的主机换了固态硬盘后，开机仅用几秒，固态硬盘是电器设备，而机械硬盘是机械设备。
固态硬盘是根据电子运转来实现存取，机械硬盘是根据机械盘的旋转来实现存取的，到目前为止机械硬盘的封装技术仍然是上个世界六七十年代的技术。我们桌面的固态硬盘一般都是SATA接口的。
机械硬盘的概念个工作原理：
（机械式的硬盘就是由马达带动的，同轴旋转的，内部是真空封装的，多个盘片，这些盘片上有一种磁性材料，盘片上面可以按照固定的轨道，实现数据存取，）
我们的盘片上画了很多的同心圆的轨道，我们称之为磁道：（track），我们知道每一个盘片上的磁道都是同心圆，他们的周长是不一样，所以说这样圆仅是同轴的旋转的，是同心圆，但是由内而外的周长不同，也就是意味着，他每一圈存储的数据量不一样，但是由于是同轴旋转，也就是单位时间内划过的长度是不一样的，但是他们的角速度是一样，所以我们称之为固定角速度的设备，那么这样的硬盘怎样实现数据的存取呢？
简单来讲，我们知道磁盘中有盘片，也有磁头，这些磁头会在盘面上上悬浮着，这些磁头可能距离盘面仅有几个微米的间距，他通过这种磁场信息的交换，使得磁头能够从盘面上的磁场信息来读取存储的信息，也能够发送高能信号，将数据保存在磁性材料中，为了使得磁盘上上存储更多的数据，我们的磁盘双面都有磁性材料，也就是意味着双面都要读写，所以说对于每一个盘片来讲，每一个盘片的每一面都有一个磁头，但是每一个盘面上的磁头都被固定在同一个机械臂上，所以说磁头的滑动也是同步的，所以说每一次的数据读取，都是由两步完成的，第一步先机械臂滑动磁头定位磁道，第二步磁盘转动，然后磁盘转动使得磁头读取数据。
所以我们在读取数据的时候有一个“平均寻道时间”
平均寻道时间，是衡量一个硬盘性能的重要指标。平均寻道时间：越短越好，有两种方法提高寻道的速度：（1）是机械臂滑动时间缩短，（2）使磁盘的转速提高
市面上有：5400rpm（rpm：表示多少转每分钟）,7200rpm，10000rpm，SCSI接口的寻道时间有15000rpm
因为磁盘每分钟转这么多次，必然会发出大量的热，所以硬盘是真空封装的，里面不能有任何的杂质，在这里面哪怕有一粒微小的灰尘，也会像巨石一样。我们也知道磁盘中的磁头与盘面之间有几微米的间距，所以磁盘在工作的时候，磁盘是不能被震动的，因为一旦震动，两者之间就可能接触了，接触就很可能磁头将盘面给划坏了，这也是硬盘很容易损害的原因。所以现在的笔记本里面的硬盘都有特殊的保护机制。
由磁盘中的磁道是由内而外，所以每个磁道是不一样的，所以我们不能安照一个磁道为一个单位进行存储，这样的话我们很难实现数据的有效管理，更何况一个磁道也很难将一个文件存完，那么我们就将一个磁道换成一个扇区，我们将每一个磁道划分成固定大小的扇区，
sector：扇区，每一个扇区是大小固定的，每一个扇区大小为512字节，字节：bytes
一般而言外道的扇区数和内道的扇区数是不一样的，为了便于管理和理解，现在硬盘通常对外接口上都把每一个磁道上的扇区数固定了，是通过虚拟曾固定的，看上去每一个磁道平均拥有多少个扇区，那事实上并不是这么做的。
那么我们的分区是怎么分的？
在说分区之前，我们先说一下柱面：cylinder：
我们之前说过，每一个磁头都固定在同一个机械臂上，那么我们就可以认为，这些磁头也是同步进退的，因此在某一时刻，这个头固定在某一个磁道上，那么第二个磁头就固定在第二个柱面上的相同磁道上，第三个刺头就在第三个柱面上的相同磁道上.......不同盘面上的相同编号的磁道就叫一个柱面，就像一个薄薄的铁通一样，那么我们分区是怎样分的?
如果我们不分区的话，整块磁盘就被当做一个文件系统进行管理，当做一个存储空间，但是早些时候，硬盘只有几个G，那我们为什么要分区呢？
因为现在的硬盘都很大，为了使得每一个硬盘中，我们可以独立的组织为多个可管理的文件系统，每一个被划分出的独立的文件系统，就叫块设备，可以独立使用，彼此间不会相互干扰，但是我们的分区应该怎样分？
真正的文件存储，是按照磁道进行的。
我们的分区划分是按照柱面进行的，
那么这样的话，越靠近外面的分区性能越好，这是因为单位时间内划过的距离较长，完成的数据存取量较大。
（这也是为什么电脑装系统，一般装在C盘，因为C盘是最外层的柱面所组成的分区，）
Linux的哲学思想：一切皆文件；
设备类型：
块（block）：随机访问，数据交换单位是“块”；
字符（character）：线性访问，数据交换单位是“字符”；
设备文件：FHS，被放在/dev/目录下，
/dev
设备文件作用：关联至设备的驱动程序；
设备号：
major：主设备号，区分设备类型；用于标明设备所需要的驱动程序；
minor：次设备号，区分同种类型下的不同的设备，是特定设备的访问入口；
手动创建设备文件：
每一个设备文件叫做一个节点；
mknod命令：
功能：用来创建块设备或者字符设备文件的命令
格式：
mknod [OPTION]... NAME TYPE [MAJOR MINOR]
选项：
-m,--mode=MODE：创建文件时，直接指明文件的访问权限
设备文件名，不能随便定义，是由ICANN组织定义的。
磁盘：
IDE： /dev/hd[a-z]
例如：/dev/hda /dev/hdb
SCSI,SATA,USB,SAS： /dev/sd[a-z]
分区：
/dev/sda#：
/dev/sda1,................
注意：CentOS6和7统统将硬盘设备文件标识为/dev/sd[a-z]#
引用设备的方式：
设备文件名
卷标
UUID
磁盘分区类型：
有两种：MBR,GPT
MBR：0sector（0号扇区）：0磁道0扇区
大小为：512字节
全称：Master Boot Record ：主引导记录
分为三部分：
前446bytes存放操作系统的加载程序：称为：bootloader，是一个程序，
bootloader是引导启动操作系统的程序；
64bytes：分区表，每16个字节标识一个分区，一共只能有4个分区；
4个主分区
3主1扩展
在扩展分区中在划分n个逻辑分区
2bytes：MBR区域的有效性标识，55AA为有效，否则为无效；
（上面的64bytes定义了我们的操作系统只能有4个分区，但是现在我们的硬盘好像不止只有4个分区，那我们是怎样实现的呢？
我们把这四个分区中的一个分区拿出来，使得这个分区不再标识分区，而是用来指向另外一个存储空间，把另一个存储空间，当做新的分区表的存储位置，）
主分区和扩展分区的表示：1-4
逻辑分区：只能从5开始，包括5；
[root@centos6 ~]# ls -l /dev //查看/dev/目录先的设备文件
total 0
crw-rw----. 1 root video 10, 175 Nov 7 09:41 agpgart
crw-rw----. 1 root root 10, 54 Nov 7 09:41 autofs
drwxr-xr-x. 2 root root 660 Nov 7 09:41 block
drwxr-xr-x. 2 root root 80 Nov 7 2016bsg
crw-------. 1 root root 10, 234 Nov 7 2016btrfs-control
[root@centos6 ~]# mknod /dev/testdev b 111 1 //创建了一个快设备类型的主设备号为111， 次设备号为1，名称为testdev的设备文件
[root@centos6 ~]# ls -l /dev/testdev
brw-r--r--. 1 root root 111, 1 Nov 7 15:40 /dev/testdev
[root@centos6 ~]#
fdisk命令：
（这个命令非常危险，请勿在服务器上试用，请勿在生产环境中试用）
[root@centos6 ~]# man fdisk //查看fdisk命令的帮助
功能：
管理磁盘分区表
格式：
（1）查看分区情况：
fdisk[-uc] [-b sectorsize] [-C cyls] [-H heads] [-S sects] device
fdisk -l [-u] [device...] //列出指定磁盘设备上的分区情况；
centos6演示：
[root@centos6 ~]# fdisk -l
Disk /dev/sda: 214.7 GB, 214748364800 bytes //磁盘大小为214.7GB，换算成字节位....
255 heads, 63 sectors/track, 26108cylinders
Units = cylinders of 16065 * 512 = 8225280bytes //扇区大小为512字节
Sector size (logical/physical): 512 bytes /512 bytes //扇区大小，逻辑大小，物理大小都是512 字节
I/O size (minimum/optimal): 512 bytes / 512bytes //I/O大小为512字节
Disk identifier: 0x000066a0 //磁盘的标识符，是以以为16进制的数字进行标识
Device Boot Start End Blocks Id System
/dev/sda1 * 1 26 204800 83 Linux //“*”表示是引导 分区，标识操作系统在这个分区上装着呢。
Partition 1 does not end on cylinderboundary.
/dev/sda2 26 6400 51200000 83 Linux
/dev/sda3 6400 8950 20480000 83 Linux
/dev/sda4 8950 26109 137829376 5 Extended
/dev/sda5 8950 9460 4096000 82 Linux swap / Solaris
[root@centos6 ~]#
上面的“Id”表示类型，这个类型是指我们的分区所在的场景类型，linux的分区正常都用83来表示，而扩展分区使用5来表示，交换分区使用82表示；
“83”：是一个16进制的两位数。
system：表示前面的Id对应的意义是什么。
centos7演示：
[root@centos7 ~]# fdisk -l
Disk /dev/sda: 214.7 GB, 214748364800bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes /512 bytes
I/O size (minimum/optimal): 512 bytes / 512bytes
Disk label type: dos
Disk identifier: 0x0003325d
Device Boot Start End Blocks Id System
/dev/sda1 * 2048 411647 204800 83 Linux
/dev/sda2 411648 102811647 51200000 83 Linux
/dev/sda3 102811648 143771647 20480000 83 Linux
/dev/sda4 143771648 419430399 137829376 5 Extended
/dev/sda5 143773696 151965695 4096000 82 Linux swap / Solaris
[root@centos7 ~]#
总结：上面的显示中，centos6与centos7的不同是：“start”
centos6表示从哪个柱面开始
centos7表示从哪个扇区开始
如果我们想看某一个指定的磁盘分区情况，则我们后面写上指定的磁盘设备文件即可
[root@centos7~]# fdisk -l /dev/sda
（2）如果想管理分区：
fdisk device（device表示磁盘文件名），执行这个命令能够打开fdisk的命令行接口，fdisk提供了一个交互式接口来管理分区，他有许多子命令，分别用于不同的管理功能，所有的操作均在内存中完成。这就意味着所有的操作不会保存在磁盘上，这就不会损害磁盘。直到使用“w”命令保存到磁盘上才会生效，
常用的命令：
n：创建新分区；
d：删除已有的分区；
t：修改分区类型；
l：查看所有已知ID；
w：保存并退出；
q：不保存并退出；
m：查看帮助信息；
p：显示现有分区信息；（相当于在命令行中执行： fdisk -l ）
我们直接fdisk 后面跟上磁盘的设备文件名即可
例如： [root@centos7 ~]# fdisk /dev/sda
演示例二：
[root@centos6 ~]# fdisk /dev/sda
WARNING: DOS-compatible mode is deprecated.It‘s strongly recommended to
switch off the mode (command ‘c‘) and change display units to
sectors (command ‘u‘).
Command (m for help): m //使用m选项，查看fdisk的子命令。
Command action
a toggle a bootable flag
b edit bsd disklabel
c toggle the dos compatibilityflag
d delete a partition //表示删除分区
l list known partition types //列出已知的分区类型（82 Linux swap / ；85 Linux extended；86 NTFS volume set；87 NTFS volume set； 88 Linux plaintext（linux纯文本）；8e Linux LVM；fd Linuxraid auto；）
m print this menu
n add a new partition //表示添加新分区
o create a new empty DOSpartition table
p print the partition table
q quit without saving changes
s create a new empty Sundisklabel
t change a partition‘s system id //表示更改一个分区的system ID，即更改分区类型
u change display/entry units
v verify the partition table
w write table to disk and exit //表示 保存退出
x extra functionality (expertsonly)
Command (m for help):
fdisk -s partition...
fdisk -v
fdisk -h
课外作业：GPT
本文出自 “11847750” 博客，请务必保留此出处http://11857750.blog.51cto.com/11847750/1875111
linux磁盘及文件系统管理初步（1）