(一）利用awk提取某些列

处理如下的数据

INFO 2014-09-15 01:00:42 0.0.0.0 <FAILED> [a: 81, b: 55] {[CLI]}

awk -F ‘ |<|>|,|]‘ ‘{print $6 , $9, $12}‘ raw_data > value_data

（二）利用awk统计某些字串出现的次数

可以直接用awk命令行

awk ‘BEGIN {num = 0} {i = 1;while(i <= NF) {if($i == "FAILED") num++;i++}} END{print "num = "num}‘ file

如果要同时统计多个字串出现的次数，使用awk脚本更方便

#!/bin/awk
BEGIN {    
num1 = 0;    
num2 = 0;    
num3 = 0;    
num4 = 0;
}
{    
    i=1;
    while(i<=NF) {
        if($i=="C_ACCEPT_FAILED_PAYABLE_TOO_MUCH")
            num1++;
        if($i=="C_ACCEPT_FAILED_PROMISESALE")
            num2++;
        if($i=="C_ACCEPT_FAILED_MTCT_CHANGED")
            num3++;
        if($i=="C_ACCEPT_FAILED_HAVE_REJECT")
            num4++;
         i++;
    }
}
END {
    print "num_to_much = "num1;
    print "num_promisze = "num2;
    print "num_mtchange = "num3;
    print "num_have_reject = "num4;
}

（三）进行文件的排序

  sort  raw_file > sorted_file  

（四）导出sql执行结果到文件

mysql  -uroot -psa  -h127.0.0.1 -P3306 -e "select name from student" school > data.txt 

常用的脚本