第四章 shell学习之sed命令和awk编程

首页 > 代码库 > 第四章 shell学习之sed命令和awk编程

第四章 shell学习之sed命令和awk编程

2024-07-17 17:09:05 224人阅读

sed命令

sed只是对缓冲区中原始文件的副本进行编辑，不改变源文件，所以要保存则要重定向到另一个文件

sed三种方式：

1.sed [选项] ‘sed命令‘ 输入文件

2.sed [选项] -f sed脚本文件输入文件

3../sed脚本文件输入文件

其中3的sed脚本文件要以#! bin/sed -f等开头

选项：

-n 不打印所有行到标准输出，默认先打印匹配的再打印所有

-e 关联多个sed命令

-f 调用sed脚本文件

定位文本：

x x为指定行号

x,y 从x到y行

/pattern/ 包含模式的行

/pattern/pattern/ 包含两个模式的行

/pattern/,x 从与pattern的匹配行到x行之间的行

x,/pattern/ 从x行到与pattern匹配的行

x,y! 不包括x和y行号的行

sed编辑命令：

p 打印匹配的行

= 打印行号

a\ 在定位行后追加文本信息

i\ 在定位行号之前插入文本信息

d 删除定位行

c\ 用新文本替换定位文本

s 替换模式

r 从另一个文件中读文本

w 将文本写入一个文件

y 变换字符

q 第一个模式匹配完成后退出

l 显示控制字符

{} 在定位行执行的一组命令

n 读取下一个输入行，用下一个命令处理新的行

h 将模式缓冲区的文本复制到保持缓冲区

H 将模式缓冲区的文本追加到保持缓冲区

x 互换模式缓冲区和保持缓冲区的内容

g 将保持缓冲区的内容复制到模式缓冲区

G 将保持缓冲区的内容追加到模式缓冲区

例：

sed -n ‘/clc/p‘ clc.txt

在clc.txt中寻找有clc的行并且输出找到的行，如果没有-n还会输出所有内容

sed -n -e ‘/clc/p‘ -e ‘/clc/=‘ clc.txt

或sed -n ‘/clc/{p;=}‘ clc.txt

或sed -n ‘/clc/p ; /clc/=‘

输出匹配行和行号

cat a.sed

#!/bin/sed -f

/clc\./a\ #如果改为i\则为插入，即在匹配行之情

append a line \

append another line.

chmod u+x a.sed

./a.sed clc.txt

在clc.txt第一个出现clc.的行之后增加两行

sed -n ‘/clc/,$p‘ clc.txt

打印clc.txt的与clc匹配的行到最后一行

sed -n ‘2,10!p‘ clc.txt

打印不在2~10行之间的行

cat a.sed

#!/bin/sed -f

/[Cc][Ll][Cc]/d

chmod u+x a.sed

./a.sed clc.txt

删除带有clc(不管大小写)的行

sed -n ‘s/clc/CLC/2p‘ clc.txt

替换第二次匹配的clc，替换成CLC，注意sed只会把结果（被替换的行）输出到标准输出而不会改变原文件

在替换模式中，p和-n结合为只打印被替换的行

sed -n ‘s/clc/CLC/w output.txt‘ clc.txt

结果输出到output.txt，w为将输出重定向到文件，没有p所有不会打印到屏幕上

sed -n ‘s/clc/(&)/pg‘ clc.txt

全局替换clc为(&)，其中&就代表clc

10.

sed -n -e ‘/cl\{3\}c/w output.txt‘ -e ‘/cl\{3\}c/p‘ clc.txt

将匹配clllc的行输出到output.txt并且输出到屏幕

11.

sed -n ‘/cl\{3\}c/q‘ clc.txt

匹配第一个clllc然后打印退出

12.

sed ‘y/12345/ABCDE/‘ clc.txt

y为替换，把clc.txt中的1换成A，2换成B，以此类推

13.

sed -n ‘1,$l‘ clc.txt

显示clc.txt的内容和控制字符，l为显示控制字符

awk编程

awk的三个阶段：

1.读取文件前的执行代码段（由BEGIN标识）

2.读取输入文件时的输入代码段

3.读输入文件完毕之后的执行代码段（由END标识）

awk执行方式：

1.awk [-F 域分隔符] ‘awk程序段’输入文件

2.awk -f awk脚本文件输入文件

3. ./awk脚本文件输入文件

注意3方法要在开头表明awk或gawk路径，如#! /bin/awk -f或#! /bin/gawk -f

例：

1.awk模式匹配

awk由模式和动作构成，模式测试输入行是否需要执行动作，动作执行输入行的处理

执行方式1：

[root@localhost tmp]# cat b

[root@localhost tmp]# awk ‘/^$/{print "this is a blank line"}‘ b

this is a blank line

执行方式2：

[root@localhost tmp]# cat b.awk

/^$/{print "this is a blank line"}

[root@localhost tmp]# awk -f b.awk b

this is a blank line

执行方式3：

[root@localhost tmp]# which awk

/bin/awk

[root@localhost tmp]# cat b.awk

#! /bin/awk -f

/^$/{print "this is a blank line"}

[root@localhost tmp]# chmod u+x b.awk

[root@localhost tmp]# ./b.awk b

this is a blank line

2.记录和域

文件由记录组成，记录由域组成，默认一行一条记录，空格或者制表符分割域

[root@localhost tmp]# cat tel

clc,1,234325

clc1,8,258353

clc3,3,234583

clc4,2,345534

[root@localhost tmp]# awk ‘BEGIN{FS=",";one=1;two=2} {print $1 " " $(one+two)}‘ tel

clc 234325

clc1 258353

clc3 234583

clc4 345534

3.关系和布尔运算

$0代表正在处理的记录，$1,$2...代表该记录的域的编号，~为匹配正则表达式，!~为不匹配正则表达式（正则表达式要在//内）

[root@localhost tmp]# awk ‘BEGIN{FS=":"} {if($3>=500 && $0!~/nologin/) print $0}‘ /etc/passwd

clc:x:500:500:clc:/home/clc3:/bin/bash

clc3:x:501:502::/home/clc3:/bin/bash

clc2:x:502:501::/home/clc2:/bin/bash

4.表达式

+，-，*，/，%(模运算)，^或**（乘方），++x，x++

[root@localhost tmp]# cat b

[root@localhost tmp]# awk ‘/^$/{print x++}‘ b

[root@localhost tmp]# awk ‘/^$/{print ++x}‘ b

5.系统变量

$n 第n个域，域由FS分割

$0 记录所有的域，即当前处理的记录

ARGC 命令行参数的数量（命令本身为参数1）

ARGV 命令行参数数组

ARGIND 命令行中当前文件的位置（以0开始）

CONVFMT 数字转换格式

ENVIRON 环境变量关联数组

ERRNO 最后一个系统错误的描述

FILENAME 当前文件名

FS 字段分割符

RS 记录分隔符

OFS 输出域分隔符，默认为空格

ORS 输出记录分隔符，默认为换行

IGNORECASE 布尔变量，为真则忽略大小写

NF 当前记录的域数量

NR 当前记录数

例1：

[root@localhost tmp]# awk ‘BEGIN{FS=",";OFS=";";ORS="|"} {print NR,NF,$0,"\n"}‘ tel

1;3;clc,1,234325;

|2;3;clc1,8,258353;

|3;3;clc3,3,234583;

|4;3;clc4,2,345534;

例2：

[root@localhost tmp]# cat a4.awk

#! /bin/awk -f

BEGIN{

for(i in ENVIRON)

{print i"="ENVIRON[i];};

}

[root@localhost tmp]# ./a4.awk

TERM=xterm

G_BROKEN_FILENAMES=1

DBUS_SESSION_BUS_ADDRESS=unix:abstract=/tmp/dbus-AQhrDkEqnE,guid=9fcb974e6fd4a8e074366f00509e212a

GNOME_DESKTOP_SESSION_ID=Default

SHLVL=2

PWD=/tmp

DESKTOP_SESSION=default

PATH=/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/X11R6/bin:/root/bin

...

6.格式化输出

printf修饰符：

- 左对齐

width 域的步长

.prec 小数点右边的位数

printf格式符：

%c ascii字符

%d 整数型

%e 浮点数，科学计数法

%f 浮点数

%o 八进制数

%s 字符串

%x 十六进制数

[root@localhost tmp]# cat tel

clc,1,234325

clc1,8,258353

clc3,3,234583

clc4,2,345534

[root@localhost tmp]# awk ‘BEGIN{FS=","} {printf("%5.2f\t%5s\t%-5d\n",$2,$1,$3)}‘ tel

1.00 clc 234325

8.00 clc1 258353

3.00 clc3 234583

2.00 clc4 345534

7.内置字符串函数

gsub(r,s) 在输入文件中用s替换r，r为/正则表达式/或者"被替换内容"，s为"替换内容"

gsub(r,s,t) r在t指定的记录中匹配，比如t为$1

index(s,t) 返回s中字符串第一个t的位置

length(s) 返回s的长度

match(s,t) 测试s是否包含匹配t的字符串，不成功返回0，否则返回离s头部的距离

split(r,s,t) 以t为分隔符分割r，结果存入s数组中，返回分割后的记录数

sub(r,s,t) 将t中第一次出现的r替换为s

substr(r,s) 返回字符串r中从位置s开始的后缀部分

substr(r,s,t) 返回字符串r中从位置s开始长度为t的后缀部分

例：

[root@localhost tmp]# cat a

clc

clllc

abc

cabcc

[root@localhost tmp]# awk ‘gsub(/cl+c/,"kkk") {print $0}‘ a

kkk

[root@localhost tmp]# awk ‘{gsub(/cl+c/,"kkk");print $0}‘ a

kkk

abc

cabcc

注意grub在{}和不在{}的区别

[root@localhost tmp]# awk ‘BEGIN{str="hello world";print substr(str,3,6)}‘

llo wo

8.传递参数

[root@localhost tmp]# cat tel

clc,1,234325

clc1,8,258353

clc3,3,234583

clc4,2,345534

[root@localhost tmp]# cat a.awk

#! /bin/awk -f

NF!=MAX

{print("the line "NR" does no have "MAX" filds")}

或者：

[root@localhost tmp]# cat a.awk

#! /bin/awk -f

{print $0;if (NF!=MAX) {print("the line "NR" does no have "MAX" filds")}}

[root@localhost tmp]# ./a.awk MAX=2 FS="," tel

clc,1,234325

the line 1 does no have 2 filds

clc1,8,258353

the line 2 does no have 2 filds

clc3,3,234583

the line 3 does no have 2 filds

clc4,2,345534

the line 4 does no have 2 filds

9.条件和循环语句

if else

如：if(x~/[Hh]el?o/) print x

while

do while

for

例：

[root@localhost tmp]# cat a2.awk

#! /bin/awk -f

BEGIN{

for(i=0;i<ARGC;i++)

{

printf("arg%d is %s\n",i,ARGV[i]);

};

printf("there are %d arg\n",ARGC);

}

[root@localhost tmp]# ./a2.awk a1 a2 a3

arg0 is awk

arg1 is a1

arg2 is a2

arg3 is a3

there are 4 arg

10.数组

array[索引]=值

for(索引 in array)

例1：

[root@localhost tmp]# cat a1.awk

#! /bin/awk -f

BEGIN{

str="str1/str2/str3";

print split(str,result,"/");

for(fild in result)

{

print result[fild];

}

例2：

[root@localhost tmp]# cat a3.awk

#! /bin/awk -f

BEGIN{

FS=",";

if(ARGC>2)

{

name=ARGV[1];

delete ARGV[1];

}

else

{

while(!name)

{

print "please enter a name:";

getline name< "-"; #从标准输入中读取

}

};

}

{

if($1~name)

{print $1,$3;};

}

[root@localhost tmp]# cat tel

clc,1,234325

clc1,8,258353

clc3,3,234583

clc4,2,345534

abc,5,2343243

[root@localhost tmp]# ./a3.awk abc tel

abc 2343243

[root@localhost tmp]# ./a3.awk tel

please enter a name:

abc

abc 2343243

本文出自 “flyclc” 博客，请务必保留此出处http://flyclc.blog.51cto.com/1385758/1540162

声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉：投诉/举报工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。

联系
我们

首页 > 代码库 > 第四章 shell学习之sed命令和awk编程

第四章 shell学习之sed命令和awk编程

看完仍有疑问？有类似问题直接问程序猿