\ 忽略正则表达式中特殊字符的原有含义 ^ 匹配正则表达式的开始行 $ 匹配正则表达式的结束行 [ ] 单个字符；如[A] 即A符合要求 [^]  匹配一个不在指定范围内的字符. 匹配一个非换行符的字符 * 匹配零个或多个先前字符 \<  锚定单词的开始，如：‘\<grep‘匹配包含以grep开头的单词的行。\>  锚定单词的结束，如‘grep\>‘匹配包含以grep结尾的单词的行。x\{m\} 连续重复字符x，m次，如：‘o\{5\}‘匹配包含连续5个o的行。x\{m,\} 连续重复字符x,至少m次，如：‘o\{5,\}‘匹配至少连续有5个o的行。x\{m,n\} 连续重复字符x，至少m次，不多于n次，如：‘o\{5,10\}‘匹配连续5--10个o的行。\w  匹配一个文字和数字字符，也就是[A-Za-z0-9]，如：‘G\w*p‘匹配以G后跟零个或多个文字或数字字符，然后是p。\W  w的反置形式，匹配一个非单词字符，如点号句号等。\W*则可匹配多个。\b  单词锁定符，如: ‘\bgrep\b‘只匹配grep，即只能是grep这个单词，两边均为空格。

dmesg | grep -n -A3 -B2 --color=auto ‘eth‘   //列出内核信息，含有关键字‘eth‘，及关键字所在行的前两行(-B2)和后3行(-A3)，grep -n ‘^the‘ txt            //匹配文件txt中行首是"the"的行grep -n ‘\.$‘ txt                //匹配txt中以‘.‘结尾的行（注意是转义字符）grep -n ‘^[^a-zA-Z]‘ txt     //匹配不义字母开头的行grep -v ‘^$‘ txt | grep -v ‘^#‘      //不显示txt中的空白行和注释行grep -C number pattern files     //匹配的上下文分别显示[number]行，grep Aug -R /var/log/*     //在目录 ‘/var/log‘ 及随后的目录中搜索字符串"Aug" grep pattern1 | pattern2 files     //显示匹配 pattern1 或 pattern2 的行，grep pattern1 files | grep pattern2     //显示既匹配 pattern1 又匹配 pattern2 的行。grep ‘[a-z]\{5\}’ aa       //显示所有包含每个字符串至少有5个连续小写字符的字符串的行。echo $PATH | cut -d ‘:‘ -f 3,5     //用：作分隔符将变量PATH分成若干份，显示其中的第3,5部分(以行作单位)

a(新增一行或多行,后接字符串) c(整行的取代，后接字符串) d(删除，后面通常不接) i(插入到当前行的上一行，后接字串，)  p(列印通常与-n 一起运行)     s(取代，通常这个s的动作可以搭配正规表示法！例如 1,20s/old/new/g)  w file(追加到file文件中)   !(表示后面的命令对所有没有被选定的行发生作用)     q(退出sed)&符号表示替换字符串中被找到的部分

sed ‘2,5d‘ txt        //删除2~5行nl txt | sed ‘2a drink tee or \ >drink bear ?‘     //第二行与第三行之间添加2行sed ‘2,5c No 2-5 number‘ txt      //将2-5行替换为“No 2-5 numbe”nl txt | sed -n ‘2,5p‘     //查看2-5行(不加-n的话，txt全部输出，包括2-5行)sed ‘/^#/d; /^$/d‘  txt    //删除空白行和注释行sed  ‘/root/d‘ /etc/passwd        //先搜寻相应的行再处理,删除/etc/passwd所有包含root的行，其他行输出sed -n ‘/root/p‘  /etc/passwd       //搜索 /etc/passwd有root关键字的行 (-n 只打印包含模板的行)sed -n ‘5,/^northeast/p‘ testfile     //打印从第五行开始到第一个以northeast开头的行之间的所有行。sed ‘/eastern/i\ NEW ENGLAND REGION‘ testfile     //i是插入命令，在匹配模式行前插入文本sed -n ‘/north/w newfile‘ testfile     //将所有匹配含有north的行写入newfile中nl /etc/passwd | sed -e ‘3,$d‘ -e ‘s/bash/blueshell/‘      // -e表示多点编辑

sed ‘s/old/new/g‘     //部分数据的查找与替换nl /etc/passwd | sed -n ‘/root/{s/bash/blueshell/;p}‘        //对文件中包含root的行，执行花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行nl /etc/passwd | sed -n ‘/bash/{s/bash/blueshell/;p;q}‘        //只替换/etc/passwd的第一个bash关键字为blueshell，就退出 sed -n ‘s/\(Mar\)got/\1lianne/p‘ txt        //模板Mar被包含在一对括号中，并在特殊的寄存器中保存为tag 1，它将在后面作为\1替换字符串，Margot被替换为Marliannesed -i ‘s/\.$/\!/g‘ txt       //直接修改txt文件，将txt文件中每一行结尾为‘.‘替换为‘!‘sed ‘s/[0-9][0-9]$/&.5/‘ testfile        //所有以两个数字结束的行，最后的数字都将被它们自己替换，同时追加.5

awk -f awk-script-file input-file(s)    //-f选项加载awk-script-file中的awk脚本cat /etc/passwd | awk  -F ‘:‘  ‘{print $1 "\t" $3}‘     //打印$1和$3并用[tab]隔开，-F(指定分隔符)cat /etc/passwd |awk  -F ‘:‘  ‘BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}‘    //第一行是"name,shell" ，最后一行是"blue,/bin/nosh"，awk最先执行BEGIN，最后执行ENDawk -F: ‘/root/{print $7}‘ /etc/passwd    //搜索/etc/passwd有root关键字的所有行，并显示对应的shellcat /etc/passwd | awk ‘BEGIN {FS=":"}  $3 < 10{print $1 ‘‘\t" $3}‘     //分隔符是:,打印文件中的账号和UID小于10的行ifconfig eth0 | grep Hwaddr | awk ‘{printf $5}‘ 在标准输出中输出MAC地址

<4>awk编程

awk变量和赋值

awk ‘BEGIN {count=0;print "[start]count:", count} {count=count+1;print $0;} END{print "[end]count:", count}‘ /etc/passwd    　　//统计/etc/passwd的账户人数,注意将count初始化为0ls -l |awk ‘BEGIN {size=0;} /^[^d]/{size=size+$5;} END{print "[end]size is ", size/1024,"K"}‘        //统计某个文件夹下的文件占用的字节数，统计不包括文件夹的子目录，$5是该文件的大小条件语句(和C语言中的一样)，同样支持while、do/while、for、break、continuels -l |awk ‘BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}‘ 
        //过滤4096大小的文件(一般都是文件夹)

排序

-f忽略大小写 -b忽略最前面的空格 -n(以数字排序，默认按字符排序) -r(反向排序,默认是升序排列) 

-u(在输出行中去除重复行) -o(将结果写入原文件中，不能重定向到原文件)

cat txt | sort 

sort txt

sort file1 file2 排序两个文件的内容 
sort file1 file2 | uniq 取出两个文件的并集(重复的行只保留一份) 
sort file1 file2 | uniq -u 删除交集，留下其他的行 
sort file1 file2 | uniq -d 取出两个文件的交集(只留下同时存在于两个文件中的文件) 

uniq 排序后，将重复的数据仅列出一个显示 -i忽略大小写 -c计数

comm -1 file1 file2 比较两个文件的内容只删除 ‘file1‘ 所包含的内容 
comm -2 file1 file2 比较两个文件的内容只删除 ‘file2‘ 所包含的内容 
comm -3 file1 file2 比较两个文件的内容只删除两个文件共有的部分