首页 > 代码库 > shell-正则表达式和文本处理器
shell-正则表达式和文本处理器
shell-正则表达式和文本处理器
一：整理正则表达式博客
grep
-n :显示行号
-o :只显示匹配的内容
-q :静默模式，没有任何输出，得用$?来判断执行成功没有，即有没有过滤到想要的内容
-l ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl ‘root‘ /etc
-A :如果匹配成功，则将匹配行及其后n行一起打印出来
-B :如果匹配成功，则将匹配行及其前n行一起打印出来
-C :如果匹配成功，则将匹配行及其前后n行一起打印出来
--color
-c :如果匹配成功，则将匹配到的行数打印出来
-E :等于egrep，扩展
-i ：忽略大小写
-v :取反，不匹配
-w：匹配单词
grep种类
grep
fgrep
pgrep
egrep
正则介绍
^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾
扩展正则 sed 加 -r 参数 或转义
grep 加 -E 或 egrep 或转义
AWK 直接支持 但不包含{n,m}
可以使用--posix支持
[root@MiWiFi-R3-srv ~]# awk ‘/ro{1,3}/{print}‘ /etc/passwd
[root@MiWiFi-R3-srv ~]# awk --posix ‘/ro{1,3}/{print}‘ /etc/passwd
sed -n ‘/roo\?/p‘ /etc/passwd
sed -rn ‘/roo?/p‘ /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出现m次
x\{m,\} x出现m次至多次(至少m次)
x\{m,n\} x出现m次至n次
sed 流编辑器 stream editer
语法
sed [options] ‘command‘ in_file[s]
options 部分
-n
-e
-i
-f
command 部分
‘[地址1,地址2] [函数] [参数(标记)]‘
定址的方法 1.数字 2.正则
数字
十进制数
1 单行
1,3 范围 从第一行到第三行
2,+4 匹配行后若干行
4,~3 从第四行到下一个3的倍数行
2~3 第二行起每间隔三行的行
$ 尾行
1! 除了第一行以外的行
正则
正则必须用//包裹起来
扩展正则需要用 -r 参数或转义
数字定址：sed -n ‘1p‘ /etc/passwd
正则定址：sed -n ‘/^root/p‘ /etc/passwd
正则介绍
^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾
扩展正则 加 -r 参数 或转义
sed -n ‘/roo\?/p‘ /etc/passwd
sed -rn ‘/roo?/p‘ /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出现m次
x\{m,\} x出现m次至多次(至少m次)
x\{m,n\} x出现m次至n次
函数
增删改
a 后插
c 替换
i 前插
d 删除
输入输出
p 打印匹配的行 一般和 -n 参数连用,以屏蔽默认输出
r 从文件中读入
w 写入到文件中
控制流
! 命令取反 例: 1!d 删除第一行以外的行
{} 命令组合 命令用分号分隔 {1h;G} 可以理解为 -e
参数的另一种写法
= 打印行号(输入行的号码,而非处理的次数行号) 例如： sed -n ‘2{=;p}‘ infile
n 读入下一行到模式空间 例:‘4{n;d}‘ 删除第5行
N 而是追加下一行到模式空间，再把当前行和下一行同时应用后面的命令
替换
s 字符串替换 s/old/new/
$ sed -n ‘s/root/ABCDEF/p‘ /etc/passwd
ABCDEF:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/ABCDEF:/sbin/nologin
$ sed -n ‘s/root/ABCDEF/gp‘ /etc/passwd
ABCDEF:x:0:0:ABCDEF:/ABCDEF:/bin/bash
operator:x:11:0:operator:/ABCDEF:/sbin/nologin
$ sed -n ‘s/root/ABCDEF/2p‘ /etc/passwd
root:x:0:0:ABCDEF:/root:/bin/bash
$ sed -n ‘s/root/ABCDEF/3p‘ /etc/passwd
root:x:0:0:root:/ABCDEF:/bin/bash
$ sed -n ‘s/root/ABCDEF/gp‘ /etc/passwd
ABCDEF:x:0:0:ABCDEF:/ABCDEF:/bin/bash
operator:x:11:0:operator:/ABCDEF:/sbin/nologin
$
\(\) 保存被匹配的字符 以备反向引用\N时使用 最多9个标签 标签顺序从左至右
& 替换时使用,在不定义标签时使用(反向引用)
二：grep作业（正则表达式及字符处理）
目标文件/etc/passwd,使用grep命令或egrep
1．显示出所有含有root的行：
grep "root" /etc/passwd
2．输出任何包含bash的所有行，还要输出紧接着这行的上下各两行的内容：
grep -C 2 "bash" /etc/passwd
3. 显示出有多少行含有nologin。
[root@python_lb yan]# grep -c "nologin" /etc/passwd
43
4．显示出那些行含有root，并将行号一块输出。
[root@python_lb yan]# grep -n "root" /etc/passwd
6．新建用户
abominable
abominate
anomie
atomize
编写正则表达式，将他们匹配出来
[root@python_lb yan]# egrep ‘^a[a-z]+e‘ passwd
7．建四个用户
Alex213sb
Wpq2222b
yH438PIG
egon666
egon
过滤出用户名组成是字母+数字+字母的行
[root@python_lb yan]# grep -Eni ‘^[a-Z]+[0-9]+[a-Z]+‘ passwd
53:Alex213sb:x:1005:1005::/home/Alex213sb:/bin/bash
54:Wpq2222b:x:1006:1006::/home/Wpq2222b:/bin/bash
55:yH438PIG:x:1007:1007::/home/yH438PIG:/bin/bash
8．显示出/etc目录下所有包含root的文件名
[root@python_lb yan]# mkdir /etc/root
[root@python_lb yan]# mkdir /etc/1root
[root@python_lb yan]# mkdir /etc/root2
[root@python_lb yan]# ls /etc/|grep root
[root@python_lb yan]# ls /etc/*root*
9. 过滤掉/etc/ssh/sshd_config内所有注释和所有空行
[root@python_lb yan]# grep -v "^$" /etc/ssh/sshd_config|grep -v "^#"
三：Sed作业：以/etc/passwd文件为模板
1，删除文件每行的第一个字符。
[root@python_lb yan]# sed -r ‘s/^([a-Z0-9-])([a-Z0-9-]+)/\2/g‘ passwd
2，删除文件每行的第二个字符。
[root@python_lb yan]# sed -r ‘s/^([a-Z0-9-])([a-Z0-9-])([a-Z0-9-]+)/\1\3/g‘ passwd
3，删除文件每行的最后一个字符。
[root@python_lb yan]# sed -r ‘s/([a-Z]+)[a-Z]$/\1/g‘ passwd
4，删除文件每行的倒数第二个字符。
[root@python_lb yan]# sed -r ‘s/^(.*)(.)(.)$/\1\3/g‘ passwd
5，删除文件每行的第二个单词。
[root@python_lb yan]# sed -r ‘s/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\1\2\4/g‘ passwd
[root@python_lb yan]# sed -r ‘s/^([a-Z0-9-]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\1\2\4/g‘ passwd
6，删除文件每行的倒数第二个单词。
[root@python_lb yan]# sed -r ‘s/([a-Z]+)([^a-Z]+)([a-Z]+)$/\2\3/g‘ passwd
7，删除文件每行的最后一个单词。
[root@python_lb yan]# sed -r ‘s/([^a-Z]+)([a-Z]+)$/\1/g‘ passwd
8，交换每行的第一个字符和第二个字符。
[root@python_lb yan]# sed -r ‘s/(^[a-Z])([a-Z])/\2\1/g‘ passwd
9，交换每行的第一个字符和第二个单词。
[root@python_lb yan]# sed -r ‘s/(^[a-Z])([a-Z0-9-]+)([^a-Z]+)([a-Z]+)/\4\2\3\1/g‘ passwd
10，交换每行的第一个单词和最后一个单词。
sed -r ‘s/^([a-Z]+)([^a-Z]+)(.*)([^a-Z]+)([a-Z]+)$/\5\2\3\4\1/‘ /etc/passwd
11，删除一个文件中所有的数字。
sed -r ‘s/[0-9]//g‘ /etc/passwd
12，删除每行开头的所有空格。
sed -r ‘s/^ *//g‘ /etc/passwd
13，用制表符替换文件中出现的所有空格。
sed -r ‘s/ /\t/g‘ /etc/passwd
14，把所有大写字母用括号（）括起来。
sed -r ‘s/[A-Z]/(&)/g‘ /etc/passwd
15，打印每行3次。
sed -r ‘s/[A-Z]/(&)/g‘ /etc/passwd
16，只显示每行的第一个单词。
sed -r ‘s/^([a-Z]+)([^a-Z]+)(.*)/\1/‘ /etc/passwd
17，打印每行的第一个单词和第三个单词。
sed -r ‘s/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\5\2\3\4\1\6/‘ /etc/passwd
18，用命令获取格式为 mm/yy/dd 的日期格式，结合管道，将其换成 mm；yy；dd格式
echo "2012/12/11" |sed -r ‘s/\//:/g‘
echo "2012/12/11" |sed -r ‘s#\/#:#g‘
echo "2012/12/11" |sed -r ‘s@\/@:@g‘
shell-正则表达式和文本处理器