awk实用功能:

（来自网友Stephen Liu）

 和sed一样，awk也是逐行扫描文件的，从第一行到最后一行，寻找匹配特定模板的行，并在这些行上运行“选择”动作。如果一个模板没有指定动作，这些匹配的行就被显示在屏幕上。如果一个动作没有模板，所有被动作指定的行都被处理。
    

awk的基本格式：
/> awk ‘pattern‘ filename
/> awk ‘{action}‘ filename

/> awk ‘pattern {action}‘ filename

[root@shell test]# cat testfile

Tom Jones         4424    5/12/66         543354

Mary Adams       5346    11/4/63         28765

Sally Chang        1654    7/22/54         650000

Billy Black          1683    9/23/44         336500

 #打印所有包含模板Mary的行

[root@shell test]# awk ‘/Mary/‘ testfile

Mary Adams        5346    11/4/63         28765

#打印文件中的第一个字段，这个域在每一行的开始，缺省由空格或其它分隔符。

[root@shell test]# awk ‘{print $1}‘ testfile

Tom

Mary

Sally

Billy

#打印包含模板Sally的行的第一、第二个域字段

[root@shell test]# awk ‘/Sally/{print $1,$2}‘ testfile

Sally Chang

awk的格式输出：
awk中同时提供了print和printf两种打印输出的函数，其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。下面给出基本的转码序列：

#输出年和月,用\n换行符

[root@shell test]# date

2014年 06月 13日 星期五 17:29:23 CST

[root@shell test]# date | awk ‘{print "Month: " $2 "\nYear: ", $1}‘

Month: 06月

Year:  2014年

#这里用到了\t制表符

root@shell test]# awk ‘/Sally/{print "\t\tHave a nice day, " $1,$2 "\!"}‘ testfile

awk: 警告: 转义序列“\!”被当作单纯的“!”

                Have a nice day, Sally Chang!

在打印数字的时候你也许想控制数字的格式，我们通常用printf来完成这个功能。awk的特殊变量OFMT也可以在使用print函数的时候，控制数字的打印格式。它的默认值是"%.6g"----小数点后面6位将被打印。

[root@shell test]# awk ‘BEGIN { OFMT="%.2f"; print 1.2456789, 12E-2}‘

1.25 0.12

 现在我们介绍一下功能更为强大的printf函数，其用法和c语言中printf基本相似。下面我们给出awk中printf的格式化说明符列表：

注：假设列表中的变脸值为x = A, y = 15, z = 2.3, $1 = "Bob Smith"

# %-15s表示保留15个字符的空间，同时左对齐

[root@shell test]# echo "Linux" | awk ‘{printf "|%-15s|\n", $1}‘ 

|Linux          |

 # %-15s表示保留15个字符的空间，同时右对齐

[root@shell test]# echo "Linux" | awk ‘{printf "|%15s|\n", $1}‘  

|          Linux|

#%8d表示数字右对齐，保留8个字符的空间。

[root@shell test]#  awk ‘{printf "The name is %-15s ID is %8d\n", $1,$3}‘ testfile

The name is Tom             ID is     4424

The name is Mary            ID is     5346

The name is Sally           ID is     1654

The name is Billy           ID is     1683

 awk中的记录和域：

awk中默认的记录分隔符是回车，保存在其内建变量ORS和RS中。$0变量是指整条记录。

 #这等同于print的默认行为

[root@shell test]# awk ‘{print $0}‘ testfile

Tom Jones         4424    5/12/66         543354

Mary Adams        5346    11/4/63         28765

Sally Chang       1654    7/22/54         650000

Billy Black       1683    9/23/44         336500

#变量NR(Number of Record)，记录每条记录的编号。

[root@shell test]#  awk ‘{print NR, $0}‘ testfile

1 Tom Jones         4424    5/12/66         543354

2 Mary Adams        5346    11/4/63         28765

3 Sally Chang       1654    7/22/54         650000

4 Billy Black       1683    9/23/44         336500

# 变量NF(Number of Field)，记录当前记录有多少域

[root@shell test]#  awk ‘{print $0,NF}‘ testfile

Tom Jones         4424    5/12/66         543354 5

Mary Adams        5346    11/4/63         28765 5

Sally Chang       1654    7/22/54         650000 5

Billy Black       1683    9/23/44         336500 5

#根据employees生成employees2。

[root@shell test]#  sed ‘s/[[:space:]]\+\([0-9]\)/:\1/g;w employees‘ testfile

Tom Jones:4424:5/12/66:543354

Mary Adams:5346:11/4/63:28765

Sally Chang:1654:7/22/54:650000

Billy Black:1683:9/23/44:336500

[root@shell test]# cat employees 

Tom Jones:4424:5/12/66:543354

Mary Adams:5346:11/4/63:28765

Sally Chang:1654:7/22/54:650000

Billy Black:1683:9/23/44:336500

 #这里-F选项后面的字符表示分隔符。

[root@shell test]# awk -F: ‘/Tom Jones/{print $1,$2}‘ employees 

Tom Jones 4424

变量OFS(Output Field Seperator)表示输出字段间的分隔符，缺省是空格。

#在输出时，域字段间的分隔符已经是?(问号)了

[root@shell test]# awk -F: ‘{OFS = "?"};/Tom/{print $1,$2 }‘ employees       

Tom Jones?4424

对于awk而言，其模式部分将控制这动作部分的输入，只有符合模式条件的记录才可以交由动作部分基础处理，而模式部分不仅可以写成正则表达式(如上面的例子)，awk还支持条件表达式，如：

[root@shell test]#  awk ‘$3 < 4000 {print}‘ testfile

Sally Chang       1654    7/22/54         650000

Billy Black       1683    9/23/44         336500

模式和动作一般是捆绑在一起的。需要注意的是，动作是花括号内的语句。模式控制的动作是从第一个左花括号开始到第一个右花括号结束，如下：

[root@shell test]# awk ‘$3 < 4000 && /Sally/ {print}‘ testfile

Sally Chang       1654    7/22/54         650000

匹配操作符：

" ~ " 用来在记录或者域内匹配正则表达式。

#显示所有第一个域匹配Bill或bill的行。

[root@shell test]# awk ‘$1 ~ /[Bb]ill/‘ testfile

Billy Black       1683    9/23/44         336500

#显示所有第一个域不匹配Bill或bill的行，其中!~表示不匹配的意思。

[root@shell test]# awk ‘$1 !~ /[Bb]ill/‘ testfile

Tom Jones         4424    5/12/66         543354

Mary Adams        5346    11/4/63         28765

Sally Chang       1654    7/22/54         650000

awk的基本应用实例：

[root@shell test]# cat testfile.txt 

northwest        NW       Charles Main           3.0     .98     3       34

western          WE       Sharon Gray            5.3     .97     5       23

southwest        SW       Lewis Dalsass          2.7     .8      2       18

southern         SO       Suan Chin              5.1     .95     4       15

southeast        SE       Patricia Hemenway      4.0     .7      4       17

eastern          EA       TB Savage              4.4     .84     5       20

northeast        NE       AM Main Jr.            5.1     .94     3       13

north            NO       Margot Weber           4.5     .89     5       9

central          CT       Ann Stephens           5.7     .94     5       13

#打印所有以north开头的行

[root@shell test]# awk ‘/^north/‘ testfile.txt 

northwest        NW       Charles Main           3.0     .98     3       34

northeast        NE       AM Main Jr.            5.1     .94     3       13

north            NO       Margot Weber           4.5     .89     5       9

#打印所有以so和no开头的行。

[root@shell test]# awk ‘/^(no|so)/‘ testfile.txt 

northwest        NW       Charles Main           3.0     .98     3       34

southwest        SW       Lewis Dalsass          2.7     .8      2       18

southern         SO       Suan Chin              5.1     .95     4       15

southeast        SE       Patricia Hemenway      4.0     .7      4       17

northeast        NE       AM Main Jr.            5.1     .94     3       13

north            NO       Margot Weber           4.5     .89     5       9

 #第五个域字段匹配包含.(点)，后面是7-9的数字。

[root@shell test]# awk ‘$5 ~ /\.[7-9]+/‘ testfile.txt 

southwest        SW       Lewis Dalsass          2.7     .8      2       18

central          CT       Ann Stephens           5.7     .94     5       13

#第八个域以两个数字结束的打印。

[root@shell test]# awk ‘$8 ~ /[0-9][0-9]$/{print $8}‘ testfile.txt 

34

23

18

15

17

20

13

awk表达式功能:

比较表达式：
比较表达式匹配那些只在条件为真时才运行的行。这些表达式利用关系运算符来比较数字和字符串。见如下awk支持的条件表达式列表：

[root@shell test]# cat testfile

Tom Jones         4424    5/12/66         543354

Mary Adams       5346    11/4/63         28765

Sally Chang        1654    7/22/54         650000

Billy Black          1683    9/23/44         336500

#打印第三个域等于5346的行。

[root@shell test]# awk ‘$3==5346‘ testfile

Mary Adams        5346    11/4/63         28765

#打印第三个域大于5000的行的第一个域字段。

[root@shell test]# awk ‘$3>5000 {print $1}‘ testfile

Mary

#打印第二个域匹配Adam的行

[root@shell test]# awk ‘$2 ~ /Adam/‘ testfile    

Mary Adams        5346    11/4/63         28765

条件表达式：

条件表达式使用两个符号--问号和冒号给表达式赋值： conditional expression1 ? expression2 : expressional3，其逻辑等同于C语言中的条件表达式。其对应的if/else语句如下：
    {
        if (expression1)
            expression2
        else
            expression3
    }

root@shell test]# cat testfile.txt 

northwest        NW       Charles Main           3.0     .98     3       34

western          WE       Sharon Gray            5.3     .97     5       23

southwest        SW       Lewis Dalsass          2.7     .8      2       18

southern         SO       Suan Chin              5.1     .95     4       15

southeast        SE       Patricia Hemenway      4.0     .7      4       17

eastern          EA       TB Savage              4.4     .84     5       20

northeast        NE       AM Main Jr.            5.1     .94     3       13

north            NO       Margot Weber           4.5     .89     5       9

central          CT       Ann Stephens           5.7     .94     5       13

#取前三行第七个字段，如果第7个字段大于4则输出为high第七字段，其他的为low第七字段

[root@shell test]#  awk ‘NR <= 3 {print ($7 > 4 ? "high "$7 : "low "$7) }‘ testfile.txt 

low 3

high 5

low 2

数学表达式：

 运算可以在模式内进行，其中awk将所有的运算都视为浮点运算，见如下列表：

#如果记录包含正则表达式southern，第五个域就加10并打印。

[root@shell test]# awk ‘/southern/ {print $5+10}‘ testfile.txt 

15.1

#如果记录包含正则表达式southern，第八个域除以2并打印。

[root@shell test]# awk ‘/southern/ {print $8/2}‘ testfile.txt     

7.5

逻辑表达式：

见如下列表：

#打印出第八个域的值大于10小于17的记录。

[root@shell test]# awk ‘$8>10 && $8<17‘ testfile.txt 

southern         SO       Suan Chin              5.1     .95     4       15

central          CT       Ann Stephens           5.7     .94     5       13

#打印第二个域等于NW，或者第一个域匹配south的行的第一、第二个域。

[root@shell test]# awk ‘$2 == "NW" || $1 ~ /south/ {print $1,$2}‘ testfile.txt 

northwest NW

southwest SW

southern SO

southeast SE

#打印第八个域字段不大于13的行的第八个域。

[root@shell test]# awk ‘!($8 > 13) {print $8}‘ testfile.txt 

3

9

13

范围模板：
范围模板匹配从第一个模板的第一次出现到第二个模板的第一次出现，第一个模板的下一次出现到第一个模板的下一次出现等等。如果第一个模板匹配而第二个模板没有出现，awk就显示到文件末尾的所有行。

#打印以western开头到eastern开头的记录的第一个域

[root@shell test]# awk ‘/^western/,/^eastern/ {print $1}‘ testfile.txt 

western

southwest

southern

southeast

eastern

赋值符号：

 #找到第三个域等于Ann的记录，然后给该域重新赋值为Christian，之后再打印输出该记录。

[root@shell test]#  awk ‘$3 == "Ann" { $3 = "Christian"; print}‘ testfile.txt 

central CT Christian Stephens 5.7 .94 5 13

#找到包含Ann的记录，并将该条记录的第八个域的值+=12，最后再打印输出。

[root@shell test]# awk ‘/Ann/{$8 += 12; print $8}‘ testfile.txt 

25

本文出自 “Chocolee” 博客，请务必保留此出处http://chocolee.blog.51cto.com/8158455/1426963