首页 > 代码库 > awk应用
awk应用
awk应用
一、awk格式和选项
awk [options] ‘script‘ var=value file(s)
awk [options] "PATTRN {‘aciton‘}" file(s)
常用命令选项
-F fs fs指定输入分隔符,fs可以是字符串或正则表达式,如-F:
-v var=value 赋值一个用户定义变量,将外部变量传递给awk
-f scripfile 从脚本文件中读取awk命令
-m[fr] val 对val值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
二、awk的模式(PATTERN)
awk ‘program‘ input-file1 input-file2
其中program为:
pattern{action}
pattern{action}
(一)常见的模式类型
1、正则表达式:格式为/regular expression/
2、表达式:其值非0或非空字符串时满足条件,如:$1 ~/foo/ ,用运算符~(匹配)和~!(不匹配)
3、范围:指定匹配范围,格式:awk -F ‘/^r/,/^m/{print $1,$2}‘ /etc/passwd 以r开头到m开头截止
4、BEGIN/END:特殊模式,仅在awk命令前运行一次或结束前运行一次
5、空模式:匹配任何数行
(二)常见的action
1、表达式,判断表达式等
2、控制语句(if,for等)
3、复合语句:重定向到其他文件
4、输入输出语句
三、awk的输出
(一)print输出
格式:print item1,item2 ,...
要点:
1、各项目之间用逗号隔开,而输出时则以空白字符分隔;
2、输出的item可以是字符串或数值、当前记录的字段(如$1)、变量或awk的表达式;数值会转换为字符串再输出;
3、print命令后面的item可以省略,此时相当于 print $0;如果想输出空白行,则需使用print "";
例子:
#awk ‘BEGIN{print "how are you"}‘
awk -F: ‘{print $1,$2}‘ /etc/passwd
分析:print中的$0表示自己,$1表示awk切分的片为第1片,$2为第2片。
(二) awk变量
2.1、awk内置变量之记录变量
FS:读取文档时,所使用的字段分隔符,默认为空白字符。
OFS:打印输出时,所使用的字段分隔符,默认为空白字符。
RS:输入文本信息时所使用的换行符,默认是"\n"
ORS:打印输出时所使用的换行符,默认是"\n"
例子:
awk ‘BEGIN(OFS="\t")‘{print $1 ,$2} /etc/passwd
2.2、awk内置变量之数据的变量
NR:命令所处理的记录数:如果有多个文件,这个数目会把处理的多个文件中行统一计数;
FNR:与NR不同的是,FNR用于记录正处理的行,是当前这一文件中总共处理的行数;
NF:当前记录的字段个数
ARGV:数组,保存命令本身这个字符串;
如:awk ‘{print $0}‘ a.txt b.txt 这个命令中,ARGV[0]保存awk,ASGV[1]保存a.txt
ARGC: awk命令的参数个数
FILENAME: awk命令所处理的文件名称
ENVIRCN:当前shell环境变量及值的关联数组
如:awk ‘ENGIN{print ENVIRCN["PATH"]}‘
2.3、用户自定义变量
awk允许用户自定义自己的变量在程序代码中使用,变量名规则是只能使用字母、数字和下滑线,数字不能开头。区分大小写。
2.3.1 在脚本中赋值变量
在awk中给变量赋值:
例:
awk ‘BEGIN{var ="good";print var}‘
2.3.2 在命令行中使用赋值变量
awk可以在"脚本"外为变量赋值,并在脚本中引用。例如:上述可改为:
awk -v var="good" ‘BEGIN{print var}‘
四、printf格式输出
printf命令使用格式:
printf format ,item1,item2,..
要点:
1、printf 需要指定format(格式);
2、format用于指定后面每个item的输出格式;
3、printf语句不会自动打印换行符:\n
format格式指示符(以%开头后跟一个字符):
%c:显示字符
%s:显示字符串
%d,%i:十进制数
%e,%E:科学计数法
%f:浮点数
%g,%G:以科学计数法的格式或浮点格式显示数值
%u:无符号整数
%%:显示自身
修饰符:
N:显示宽度
-:左对齐,默认是右对齐
+:显示数值符号
例子:
awk -F: ‘{printf "%-15s %i\n",$1,$3}‘ /etc/passwd
五、输出重定向
print items > output-file
print items > output-file
print items | command
特殊文件描述符:
/dev/stdin: 标准输入
/dev/stdout:标准输出
/dev/stderr:错误输出
/dev/fd/N:某特定文件描述符,如/dev/stdin 就相当于/dev/fd/0
例子:
awk -F:‘{printf "%15s %i\n",$1,$2 >"/dev/sderr"}‘ /etc/passwd
六、awk的操作符
注意:> < 可以作为字符串比较,也可以用作数值比较,关键看操作数如果是字符串就会转换为字符串比较。两个都为数字才转为数值比较。字符串比较:按照ASCII码顺序比较。
七、数组
(一)、数组的定义
array[index-expression]
1、数字做数组下标
Arr[1]="sun"
Arr[2]="uu"
2、字符串做数组下标
Array["first"]="www"
Array["last"]="name"
Array["birth"]="1987"
index-expression可以是任意字符串,需要注意的是如果某数据组元素事先不存在,那么在其引用时,awk会自动创建次元素并初始化为空字符串,因此要判断某数据组中使用index in array方式
要遍历数组中每一个元素,需要使用如下结构:
for (var in arrar) {statement1,...}
其中 var用于引用数组下标,而不是元素值;
例子:
netstat -ant | awk ‘/^tcp/ {S[$NF]++} END{for (a in S ) print a,S[a]}‘
每出现一次/^tcp/模式匹配到的行,数组S[$NS]就加1,NF为当前行的最后一个字段,此处用其值作为数组S的元素索引;
awk ‘{counts[$1]++}END {for(url in counts) print counts[url],url}‘ /var/log/httpd/access_log
(二)删除数组
delete array[key]
可以删除,对应数组key的,序列值。
例:
awk ‘BEGIN{t1["a"]="a",t1["b"]="b"} delete t1["a"] END{for(k in t1) print t1,t1[k]}‘
八、流程控制语句
每条命令语句后面可以用;分号结尾。
条件判断语句
if(表达式)
{语句1}
else if(表达式)
{语句2}
else
{语句3}
例子:
awk ‘BEGIN{ test=100;
if(test>90)
{ print "very good";
}
else if(test>60)
{ print "good"; }
else
{ print "no pass";
}
}‘
循环语句
while语句
while(表达式)
{语句}
例子:
awk ‘BEGIN{ test=100; total=0; while(i<=test){ total+=i; i++; } print total; }‘ 5050
for循环
for循环有两种格式:
格式1
for(变量 in 数组)
{语句}
例1:
awk ‘BEGIN{
name[1]="aa",
name[2]="bb"
}
END{
for (k in name){
print name[k],k
}
}‘
例2
awk ‘BEGIN{
for(k in ENVIRON){
print k"="ENVIRON[k];
}
}‘
TERM=linux
G_BROKEN_FILENAMES=1
SHLVL=1 pwd=/root/text
...
logname=root
HOME=/root
SSH_CLIENT=192.168.1.21 53087 22
注:ENVIRON是awk常量,是子典型数组。
格式2:
for(变量;条件;表达式)
{语句}
例:
awk ‘BEGIN{ total=0; for(i=0;i<=100;i++){ total+=i; } print total; }‘ 5050
do循环
do {语句}
while(条件)
例:
awk ‘BEGIN{ total=0; i=0; do {total+=i;i++;} while(i<=100) print total; }‘ 5050
其他语句
break 当 break 语句用于 while 或 for 语句时,导致退出程序循环。
continue 当 continue 语句用于 while 或 for 语句时,使程序循环移动到下一个迭代。
next 能能够导致读入下一个输入行,并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程。
exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则,或在END中应用exit语句,则终止脚本的执行。
更多:http://man.linuxde.net/awk#awk命令格式和选项
awk应用