grep: 文本过滤器
grep 'pattern' input_file ...sed：流编辑器awk: 报告生成器 格式化以后，显示AWK a.k.a. Aho, Kernighan and Weinbergernew awk: nawkgawk, awk# awk [options] 'script' file1 file2, ...# awk [options] 'PATTERN { action }' file1 file2, ...awk -F: 'BEGIN{OFS="#"}{print $2,"hello",$1}' /etc/passwd print, printf-Fawk的输出：一、printprint的使用格式： print item1, item2, ...要点：1、各项目之间使用逗号隔开，而输出时则以空白字符分隔；2、输出的item可以为字符串或数值、当前记录的字段(如$1)、变量或awk的表达式；数值会先转换为字符串，而后再输出；3、print命令后面的item可以省略，此时其功能相当于print $0, 因此，如果想输出空白行，则需要使用print ""；例子：# awk 'BEGIN { print "line one\nline two\nline three" }'awk -F: '{ print $1, $3 }' /etc/passwd二、awk变量2.1 awk内置变量之记录变量：FS: field separator，读取文件本时，所使用字段分隔符；RS: Record separator，输入文本信息所使用的换行符；OFS: Output Filed Separator: 输出字段所使用的分隔符ORS：Output Row Separator：输出行所使用的分隔符awk -F: 输入分隔符OFS="#"：输出分隔符FS=":" 输入分隔符 2.2 awk内置变量之数据变量：NR: The number of input records，awk命令所处理的记录数；如果有多个文件，这个数目会把处理的多个文件中行统一计数；[root@localhost ~]# awk '{print NR}' test.txt /etc/fstab 123456789101112 NF：Number of Field，当前记录的field个数；
[root@localhost ~]# awk '{print NF}' test.txt 42 [root@localhost ~]# awk '{print $NF}' test.txt testawk [root@localhost ~]# awk '{print FNR}' test.txt /etc/fstab 121234567 [root@localhost ~]# awk 'BEGIN{var="l";printf "%c\n",var}'l %d, %i：十进制整数；
%e, %E：科学计数法显示数值；%f: 显示浮点数；%g, %G: 以科学计数法的格式或浮点数的格式显示数值；%s: 显示字符串；[root@localhost ~]# awk 'BEGIN{var="lalala";printf "%s\n",var}'lalala %u: 无符号整数；
%%: 显示%自身；修饰符：N: 显示宽度；-: 左对齐；+：显示数值符号；[root@localhost ~]# awk 'BEGIN{var="lalala";printf "%10s\n",var}' lalala //前面有四个空白字符[root@localhost ~]# awk 'BEGIN{var="lalala";printf "%-10s\n",var}'lalala //后面有四个空白字符 [root@localhost ~]# awk '{printf "%-10s%-10s\n",$1,$2}' test.txt this is hello awk [root@localhost ~]# awk '{printf "%-10s,%-10s\n",$1,$2}' test.txt this ,is hello ,awk 例子：# awk -F: '{printf "%-15s %i\n",$1,$3}' /etc/passwd四、输出重定向print items > output-fileprint items >> output-fileprint items | command特殊文件描述符：/dev/stdin：标准输入/dev/sdtout: 标准输出/dev/stderr: 错误输出/dev/fd/N: 某特定文件描述符，如/dev/stdin就相当于/dev/fd/0；例子：# awk -F: '{printf "%-15s %i\n",$1,$3 > "/dev/stderr" }' /etc/passwd六、awk的操作符：6.1 算术操作符：-x: 负值+x: 转换为数值；x^y: x**y: 次方x*y: 乘法x/y：除法x+y:x-y:x%y:6.2 字符串操作符：只有一个，而且不用写出来，用于实现字符串连接；6.3 赋值操作符：=+=-=*=/=%=^=**=++--需要注意的是，如果某模式为=号，此时使用/=/可能会有语法错误，应以/[=]/替代；6.4 布尔值awk中，任何非0值或非空字符串都为真，反之就为假；6.5 比较操作符：x < y True if x is less than y. x <= y True if x is less than or equal to y. x > y True if x is greater than y. x >= y True if x is greater than or equal to y. x == y True if x is equal to y. x != y True if x is not equal to y. x ~ y True if the string x matches the regexp denoted by y. x !~ y True if the string x does not match the regexp denoted by y. subscript in array True if the array array has an element with the subscript subscript.6.7 表达式间的逻辑关系符：&&||6.8 条件表达式：selector?if-true-exp:if-false-expif selector; then if-true-expelse if-false-expfia=3b=4a>b?a is max:b ia max6.9 函数调用：function_name (para1,para2)七 awk的模式：awk 'program' input-file1 input-file2 ...其中的program为:pattern { action }pattern { action }...7.1 常见的模式类型：1、Regexp: 正则表达式，格式为/regular expression/
[root@localhost ~]# awk '/^r/{print $1}' /etc/passwdroot:x:0:0:root:/root:/bin/bashrpc:x:32:32:Rpcbindrpcuser:x:29:29:RPCrtkit:x:496:495:RealtimeKit:/proc:/sbin/nologin 2、expresssion： 表达式，其值非0或为非空字符时满足条件，如：$1 ~ /foo/ 或 $1 == "magedu"，用运算符~(匹配)和!~(不匹配)。
[root@localhost ~]# awk -F: '$3>=500{print $1,$3}' /etc/passwdnfsnobody 65534tom 500hadoop 501mandriva 4004fedora 2003openstack 4005hive 5000[root@localhost ~]# awk -F: '$3+1>=500{print $1,$3}' /etc/passwdnfsnobody 65534saslauth 499tom 500hadoop 501mandriva 4004fedora 2003openstack 4005hive 5000 [root@localhost ~]# awk -F: '$7~"bash$"{print $7}' /etc/passwd /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash [root@localhost ~]# awk -F: '$7~/bash$/{print $7}' /etc/passwd /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash /bin/bash [root@localhost ~]# awk -F: '$7~/bash$/{print $1,$7}' /etc/passwd root /bin/bash mysql /bin/bash tom /bin/bash apache /bin/bash hadoop /bin/bash mandriva /bin/bash openstack /bin/bash hive /bin/bash [root@localhost ~]# awk -F: '$7!~/bash$/{print $1,$7}' /etc/passwd bin /sbin/nologin daemon /sbin/nologin adm /sbin/nologin lp /sbin/nologin sync /bin/sync shutdown /sbin/shutdown halt /sbin/halt mail /sbin/nologin uucp /sbin/nologin operator /sbin/nologin 3、Ranges： 指定的匹配范围，格式为pat1,pat2
[root@localhost ~]# awk -F: '$3==0,$7~"nologin"{print $1,$7}' /etc/passwdroot /bin/bashbin /sbin/nologin 4、BEGIN/END：特殊模式，仅在awk命令执行前运行一次或结束前运行一次（例如：加表头表尾）
5、Empty(空模式)：匹配任意输入行；7.2 常见的Action1、Expressions:2、Control statements控制语句 3、Compound statements复合语句4、Input statements5、Output statements/正则表达式/：使用通配符的扩展集。关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行。模式匹配表达式：模式，模式：指定一个行的范围。该语法不能包括BEGIN和END模式。BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。END：让用户在最后一条输入记录被读取之后发生的动作。八 控制语句：8.1 if-else语法：if (condition) {then-body} else {[ else-body ]}例子：awk -F: '{if ($1=="root") print $1, "Admin"; else print $1, "Common User"}' /etc/passwdawk -F: '{if ($1=="root") printf "%-15s: %s\n", $1,"Admin"; else printf "%-15s: %s\n", $1, "Common User"}' /etc/passwdawk -F: -v sum=0 '{if ($3>=500) sum++}END{print sum}' /etc/passwd8.2 while语法： while (condition){statement1; statment2; ...}awk -F: '{i=1;while (i<=3) {print $i;i++}}' /etc/passwdawk -F: '{i=1;while (i<=NF) { if (length($i)>=4) {print $i}; i++ }}' /etc/passwd8.3 do-while语法： do {statement1, statement2, ...} while (condition)awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd8.4 for语法： for ( variable assignment; condition; iteration process) { statement1, statement2, ...}awk -F: '{for(i=1;i<=3;i++) print $i}' /etc/passwdawk -F: '{for(i=1;i<=NF;i++) { if (length($i)>=4) {print $i}}}' /etc/passwdfor循环还可以用来遍历数组元素：语法： for (i in array) {statement1, statement2, ...}awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd8.5 case语法：switch (expression) { case VALUE or /REGEXP/: statement1, statement2,... default: statement1, ...}8.6 break 和 continue常用于循环或case语句中8.7 next提前结束对本行文本的处理，并接着处理下一行；例如，下面的命令将显示其ID号为奇数的用户：# awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd九 awk中使用数组9.1 数组array[index-expression]index-expression可以使用任意字符串；需要注意的是，如果某数据组元素事先不存在，那么在引用其时，awk会自动创建此元素并初始化为空串；因此，要判断某数据组中是否存在某元素，需要使用index in array的方式。要遍历数组中的每一个元素，需要使用如下的特殊结构：for (var in array) { statement1, ... }其中，var用于引用数组下标，而不是元素值；例子：netstat -ant | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'每出现一被/^tcp/模式匹配到的行，数组S[$NF]就加1，NF为当前匹配到的行的最后一个字段，此处用其值做为数组S的元素索引；awk '{counts[$1]++}; END {for(url in counts) print counts[url], url}' /var/log/httpd/access_log用法与上一个例子相同，用于统计某日志文件中IP地的访问量9.2 删除数组变量从关系数组中删除数组索引需要使用delete命令。使用格式为：delete array[index]十、awk的内置函数split(string, array [, fieldsep [, seps ] ])功能：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中；数组下标为从0开始的序列；netstat -ant | awk '/:80\>/{split($5,clients,":");IP[clients[1]]++}END{for(i in IP){print IP[i],i}}' | sort -rn | head -50length([string])功能：返回string字符串中字符的个数；substr(string, start [, length])功能：取string字符串中的子串，从start开始，取length个；start从1开始计数；system(command)功能：执行系统command并将结果返回至awk命令systime()功能：取系统当前时间tolower(s)功能：将s中的所有字母转为小写toupper(s)功能：将s中的所有字母转为大写十一、用户自定义函数自定义函数使用function关键字。格式如下：function F_NAME([variable]){ statements}函数还可以使用return语句返回值，格式为“return value”。