首页 > 代码库 > 第8章：Shell脚本归档与压缩
第8章：Shell脚本归档与压缩
第8章：Shell脚本归档与压缩
定期备份不可小视，我们可以通过shell脚本来实现备份自动化。其中数据备份一般要使用到归档与压缩，归档与压缩对于系统管理员或普通用户来说是比较常用的工具，有许多不同的压缩格式，要结合不同的使用方法才可以获得最佳的压缩效果。还有文件加密也是一种保护数据常用的方法，文件加密之前通常都要先进行归档和压缩。
8.1、tar 归档
tar命令主要用来归档文件，可以用tar将多个文件和文件夹保存为单个文件，同时还能保留所有文件的属性、权限等。
范例1：创建tar归档
[root@cloucentos6 home]# tar --help | grep ‘\-f\,‘
-f, --file=ARCHIVE 使用归档文件或 ARCHIVE 设备
[root@cloucentos6 home]# tar --help | grep "\-c\," #查看系统tar帮助 –c选项的说明
-c, --create 创建一个新归档
[root@cloucentos6 home]# for((i=1;i<4;i++));do ifconfig > font$i.txt;done #使用for循环创建3个测试文本
[root@cloucentos6 home]# ls font*
font1.txt font2.txt font3.txt
[root@cloucentos6 home]# tar -cf font.tar font1.txt font2.txt font3.txt
范例2：查看归档及追加归档文件
[root@cloucentos6 home]# tar --help | grep ‘\-v\,‘
-v, --verbose 详细地列出处理的文件
[root@cloucentos6 home]# tar --help | grep ‘\-r\,‘
-r, --append 追加文件至归档结尾
[root@cloucentos6 home]# tar -tf font.tar #查看归档文件
font1.txt
font2.txt
font3.txt
[root@cloucentos6 home]# tar -rvf font.tar font4.txt
font4.txt
[root@cloucentos6 home]# tar -tf font.tar
font1.txt
font2.txt
font3.txt
font4.txt
[root@cloucentos6 home]# tar -tvf font.tar #查看更加详细的归档文件
-rw-r--r-- root/root 10240 2017-04-29 18:05 font1.txt
-rw-r--r-- root/root 884 2017-04-29 18:03 font2.txt
-rw-r--r-- root/root 884 2017-04-29 18:03 font3.txt
-rw-r--r-- root/root 884 2017-04-29 18:14 font4.txt
范例3：从归档文件中提取文本或文件夹
[root@cloucentos6 home]# tar --help | grep ‘\-x\,‘
-x, --extract, --get 从归档中解出文件
[root@cloucentos6 home]# tar --help | grep ‘\-C\,‘
-C, --directory=DIR 改变至目录 DIR
[root@cloucentos6 home]# tar -xf font.tar
[root@cloucentos6 home]# ls
font1.txt font2.txt font3.txt font4.txt font.tar lost+found test.sh
[root@cloucentos6 home]# tar -xf font.tar -C /mnt
[root@cloucentos6 home]# ls /mnt/
font1.txt font2.txt font3.txt font4.txt
[root@cloucentos6 home]# tar -tvf font.tar
-rw-r--r-- root/root 884 2017-04-29 18:27 font1.txt
-rw-r--r-- root/root 884 2017-04-29 18:27 font2.txt
-rw-r--r-- root/root 884 2017-04-29 18:27 font3.txt
-rw-r--r-- root/root 884 2017-04-29 18:27 font4.txt
[root@cloucentos6 home]# tar -xvf font.tar font2.txt
font2.txt
范例4：两个tar归档文件进行合并
[root@cloucentos6 home]# tar --help | grep "\-A\,"
-A, --catenate, --concatenate 追加 tar 文件至归档
[root@cloucentos6 home]# tar -cf test01.tar font1.txt font2.txt
[root@cloucentos6 home]# tar -cf test02.tar font3.txt font4.txt
[root@cloucentos6 home]# tar -Af test01.tar test02.tar #把test02.tar文件合并到test01.tar
范例5：从归档文件中删除文件
[root@cloucentos6 home]# tar --help | grep "\-delete"
--delete 从归档(非磁带！)中删除
[root@cloucentos6 home]# tar -tf test01.tar
font1.txt
font2.txt
font3.txt
font4.txt
[root@cloucentos6 home]# tar --delete --file test01.tar font2.txt
[root@cloucentos6 home]# tar -tf test01.tar
font1.txt
font3.txt
font4.txt
范例6：tar 命令把文件进行归档和压缩，-z对.gz压缩格式，-j对bz2压缩格式
[root@cloucentos6 home]# tar -zcvf file.tar.gz font1.txt font3.txt font4.txt
font1.txt
font3.txt
font4.txt
[root@cloucentos6 home]# ls -l | head -n 3
-rw-r--r--. 1 root root 589 4月 29 22:59 file.tar.gz
-rw-r--r--. 1 root root 45 4月 29 22:56 font1.txt
范例7：tar命令解压归档文件
[root@cloucentos6 home]# tar -zxvf file.tar.gz
font1.txt
font3.txt
font4.txt
8.2、gzip压缩与gunzip解压
gzip只能够压缩单个文件，而无法对目录和多个文件进行归档，因些需要tar进行归档后再使用gzip进行压缩，生成压缩格式后缀为.gz
范例1：gzip默认会删除原文件生成一个压缩文件test01.tar.gz
[root@cloucentos6 home]# gzip font1.txt
[root@cloucentos6 home]# ls -l
-rw-r--r--. 1 root root 401 4月 29 18:27 font1.txt.gz
-rw-r--r--. 1 root root 884 4月 29 18:27 font3.txt
范例2：gunzip解压会删除原压缩文件解压出文件
[root@cloucentos6 home]# gunzip font1.txt.gz
[root@cloucentos6 home]# ls -l font1.txt
-rw-r--r--. 1 root root 884 4月 29 18:27 font1.txt
范例3：gzip -l 选项查看压缩文件属性信息
[root@cloucentos6 home]# gzip -l font1.txt.gz
compressed uncompressed ratio uncompressed_name
401 884 58.7% font1.txt
范例4：将font4.txt内容输入，gzip打包输出重写向到test.gz
[root@cloucentos6 home]# cat font4.txt | gzip -c > test.gz
范例5：先使用tar进行归档再进行gzip压缩
[root@cloucentos6 home]# tar -cvf file.tar font3.txt font4.txt
font3.txt
font4.txt
[root@cloucentos6 home]# gzip file.tar
[root@cloucentos6 home]# ls -l file.tar.gz
-rw-r--r--. 1 root root 515 4月 29 23:35 file.tar.gz
范例6：先gzip进行解压.gz再使用tar解压tar
[root@cloucentos6 home]# ls -l file.tar.gz
-rw-r--r--. 1 root root 515 4月 29 23:35 file.tar.gz
[root@cloucentos6 home]# gunzip file.tar.gz
[root@cloucentos6 home]# ls -l file.tar
-rw-r--r--. 1 root root 10240 4月 29 23:35 file.tar
[root@cloucentos6 home]# tar -xvf file.tar
font3.txt
font4.txt
8.3、bzip2压缩与bunzip2解压
Bunzip2是另一种与bzip类似的压缩技术，压缩格式后缀.bz2
范例1：bzip2默认会删除原文件生成一个压缩文件font3.txt.bz2
[root@cloucentos6 home]# bzip2 font3.txt
[root@cloucentos6 home]# ls -l font3.txt.bz2
-rw-r--r--. 1 root root 462 4月 29 18:27 font3.txt.bz2
范例2：bunzip2解压会删除原压缩文件解压出文件
[root@cloucentos6 home]# bunzip2 font3.txt.bz2
[root@cloucentos6 home]# ls -l font3.txt
-rw-r--r--. 1 root root 884 4月 29 18:27 font3.txt
范例3：将font3.txt内容输入，bzip2打包输出重写向到test.bz2
[root@cloucentos6 home]# cat font3.txt | bzip2 -c > test.bz2
范例4：先使用tar进行归档再进行bzip2压缩
[root@cloucentos6 home]# tar -cvf file.tar font3.txt
[root@cloucentos6 home]# ls -l file.tar
-rw-r--r--. 1 root root 10240 4月 30 00:16 file.tar
[root@cloucentos6 home]# bzip2 file.tar
[root@cloucentos6 home]# ls -l file.tar.bz2
-rw-r--r--. 1 root root 545 4月 30 00:16 file.tar.bz2
范例5：先bzip2进行解压.bz2再使用tar解压tar
[root@cloucentos6 home]# ls -l file.tar.bz2
-rw-r--r--. 1 root root 545 4月 30 00:16 file.tar.bz2
[root@cloucentos6 home]# bunzip2 file.tar.bz2
[root@cloucentos6 home]# ls -l file.tar
-rw-r--r--. 1 root root 10240 4月 30 00:16 file.tar
[root@cloucentos6 home]# tar -xvf file.tar
font3.txt
8.4、zip归档和压缩
zip作为一种流行的压缩格式，在gzip或bzip2使用没那么广泛，但在因特网上的文件通常都采用这种格式。
范例1：zip压缩不会删除原文件， -r 选项对目录和文件进行递归压缩。
[root@cloucentos6 home]# zip file.zip font3.txt
adding: font3.txt (deflated 58%)
[root@cloucentos6 home]# zip -r file.zip file/
adding: file/ (stored 0%)
adding: file/file.zip (stored 0%)
adding: file/abc/ (stored 0%)
adding: file/abc/file.zip (stored 0%)
[root@cloucentos6 home]# ls -l file.zip
-rw-r--r--. 1 root root 1704 4月 30 00:46 file.zip
范例2：unzip从zip文件中提取内容，完成之后不会删除zip压缩
[root@cloucentos6 home]#unzip file.zip
Archive: file.zip
creating: file/
extracting: file/file.zip
creating: file/abc/
extracting: file/abc/file.zip
范例3： -u 选项更新压缩归档文件内容， -d 删除压缩归档文件中的删除内容
[root@cloucentos6 home]# zip file.zip -u font4.txt #更新
adding: font4.txt (deflated 58%)
[root@cloucentos6 mnt]# zip -d file.zip /file/abc/file.zip #删除指定压缩归档文件目录下的文件
deleting: file/abc/file.zip
8.5、加密工具与散列
范例1：gpg加密和解密文本，它采用密钥签名技术保护文件内容。
[root@cloucentos6 home]# gpg -c font4.txt #提示输入加密密码
[root@cloucentos6 home]# ls -l font4.txt.gpg
-rw-r--r--. 1 root root 429 4月 30 01:36 font4.txt.gpg
[root@cloucentos6 home]# gpg font4.txt.gpg #输入解密密码进行解密
gpg: 3DES 加密过的数据
can‘t connect to `/root/.gnupg/S.gpg-agent‘: 没有那个文件或目录
agpg: 以 1 个密码加密
gpg: 警告：报文未受到完整的保护
范例2：base64是一组类似编码方案，它通过将ASCII字符转换成以64为基数的形式来用ASCII字符串描述二进制数据。Base64可以用来对编码和解码base64字符串。
[root@cloucentos6 home]# cat file.txt
abc123
abc123
abc123
[root@cloucentos6 home]# base64 file.txt > outputfile.txt #加密生成outputfile.txt加密文件
[root@cloucentos6 home]# cat outputfile.txt
YWJjMTIzCmFiYzEyMwphYmMxMjMK
[root@cloucentos6 home]# base64 -d outputfile.txt > jiemifile.txt #解密outputfile.txt生成jimifile.txt解密文件
[root@cloucentos6 home]# cat jiemifile.txt
abc123
abc123
abc123
8.6、raync备份系统快照
rsync 可以对位于不同位置的文件和目录进行备份，它可以借助差异计算以及压缩技术来最小化数据传输量。rsync还还支持网络数据传输，rsync还会比较源端和目的端的文件，只有文件有更新时才进行复制。
范例1：将源目录复制到目的端 , -a 选项归档, -v 显示细节信息或进度
标注:路径格式而言，如果/bin末尾使用/，rsync会将/bin/目录中的所有文件复制至目的端。如果/bin没有使用 / ,rsync会将/bin目录本身复制至目的端。
[root@cloucentos6 home]# rsync -av /bin/ /home/file #将/bin/目录中的文件复制到/home/file目录下
[root@cloucentos6 home]# rsync -av /bin /home/ #将/bin目录复制到/home/目录下
[root@cloucentos6 home]# rsync –av /bin/ root@192.168.10.10:/home/file #将/bin/目录复制到远程主机/home/file目录下
范例2： --exclude 排除不在归档范围内的部分文件
[root@cloucentos6 home]# rsync -av /bin /home/ --exclude “*.txt”
8.7、dd命令克隆磁盘
dd命令是同硬盘和分区打交道时，我们可能需要创建所有分区的副本或备份，而不仅仅是复制内容(不仅是各个硬盘分区，而且还包括引志记录、分区表等信息)。这时，我们就可以使用dd命令，它能够用于克隆任何类型的磁盘，如果硬盘、闪存、CD、DVD等。
dd格式如下：
dd if=source of=target bs=block_size count=count
其中:
if 代表输入文件或输入设备路径
of 代表目标文件或目标设备路径
bs 代表块大小(通常以2的幂数形式给出，如果512 、1024、2048等)。Count是需要复制的块数。
需要复制的字节总数=块大小 * count
通过指定count，我们可以限制从输入文件复制至目标的字节数。如果不指定count，dd命令会对输入文件进行复制，直到遇见文件结束标志(EOF)为止。
范例1：备份sda1分区，使用备份恢复分区。
[root@cloucentos6 home]# df -h
文件系统 容量 已用 可用 已用%% 挂载点
/dev/sda2 97G 4.5G 87G 5% /
tmpfs 996M 112K 996M 1% /dev/shm
/dev/sda1 485M 30M 430M 7% /boot
/dev/sda3 58G 188M 55G 1% /home
/dev/sr0 4.0G 4.0G 0 100% /media/CentOS_6.0_Final
[root@cloucentos6 home]# dd if=/dev/sda1 of=/home/sda1_boot.img #备份分区
记录了1024000+0 的读入
记录了1024000+0 的写出
524288000字节(524 MB)已复制，35.5123 秒，14.8 MB/秒
[root@cloucentos6 home]# ls -l sda1_boot.img
-rw-r--r--. 1 root root 524288000 5月 3 17:31 sda1_boot.img
[root@cloucentos6 home]# dd if=/home/sda1_boot.img of=/dev/sda1 #恢复分区
记录了1024000+0 的读入
记录了1024000+0 的写出
524288000字节(524 MB)已复制，9.14704 秒，57.3 MB/秒
范例2：永久删除一个分区中所有数据，使用dd向该分区中写入0傎，/dev/zero是一个字符设备，它总是会返回字符 ’\0’
[root@cloucentos6 home]# dd if=/dev/zero of=/dev/sda1
范例3：在容量相同的硬盘间进行克隆，/dev/sda是原数据端，/dev/sdb目的数据端。
[root@cloucentos6 home]# dd if=/dev/sda of=/dev/sdb
[root@cloucentos6 home]# dd if=/dev/cdrom of=cdrom.iso #制作CD ROM的镜像(ISO文件)
第8章：Shell脚本归档与压缩