http://blog.chinaunix.net/uid-25120309-id-3801250.html

?

一.??AWK?說明
??awk是一種編程語言，用于在linux/unix下對(duì)文本和數(shù)據(jù)進(jìn)行處理。數(shù)據(jù)可以來自標(biāo)準(zhǔn)輸入、一個(gè)或多個(gè)文件，或其它命令的輸出。它支持用戶自定義函數(shù)和動(dòng)態(tài)正則表達(dá)式等先進(jìn)功能，是linux/unix下的一個(gè)強(qiáng)大編程工具。它在命令行中使用，但更多是作為腳本來使用。

? ?awk的處理文本和數(shù)據(jù)的方式：它逐行掃描文件，從第一行到最后一行，尋找匹配的特定模式的行，并在這些行上進(jìn)行你想要的操作。如果沒有指定處理動(dòng)作，則把匹配的行顯示到標(biāo)準(zhǔn)輸出(屏幕)，如果沒有指定模式，則所有被操作所指定的行都被處理。

? ?awk分別代表其作者姓氏的第一個(gè)字母。因?yàn)樗淖髡呤侨齻€(gè)人，分別是Alfred Aho、Brian Kernighan、Peter Weinberger。

???gawk是awk的GNU版本，它提供了Bell實(shí)驗(yàn)室和GNU的一些擴(kuò)展。下面介紹的awk是以GUN的gawk為例的，在linux系統(tǒng)中已把a(bǔ)wk鏈接到gawk，所以下面全部以awk進(jìn)行介紹。

二. awk命令格式和選項(xiàng)
2.1 awk的語法有兩種形式

? ?1. 命令行方式
??awk [-F field-separator] 'commands' input-file(s)
? 其中，commands是真正awk命令，[-F域分隔符]是可選的。input-file(s)是待處理的文件。
? 在awk中，文件的每一行中，由域分隔符分開的每一項(xiàng)稱為一個(gè)域。通常，在不指名-F域分隔符的情況下，默認(rèn)的域分隔符是空格。
? 2. 將所有的awk命令插入一個(gè)單獨(dú)文件，然后調(diào)用:
??awk -f awk-script-file input-file(s)
? 其中，-f選項(xiàng)加載awk-script-file中的awk腳本，input-file(s)跟上面的是一樣的。

2.2 命令選項(xiàng)

（1）-F fs or --field-separator fs?：指定輸入文件折分隔符，fs是一個(gè)字符串或者是一個(gè)正則表達(dá)式，如-F:。

（2）-v var=value or --asign var=value?：賦值一個(gè)用戶定義變量。

（3）-f scripfile or --file scriptfile?：從腳本文件中讀取awk命令。

（4）-mf nnn and -mr nnn?：對(duì)nnn值設(shè)置內(nèi)在限制，-mf選項(xiàng)限制分配給nnn的最大塊數(shù)目；-mr選項(xiàng)限制記錄的最大數(shù)目。這兩個(gè)功能是Bell實(shí)驗(yàn)室版awk的擴(kuò)展功能，在標(biāo)準(zhǔn)awk中不適用。

（5）-W compact or --compat,?-W traditional or --traditional?：在兼容模式下運(yùn)行awk。所以gawk的行為和標(biāo)準(zhǔn)的awk完全一樣，所有的awk擴(kuò)展都被忽略。

（6）-W copyleft or --copyleft,?-W copyright or --copyright?：打印簡(jiǎn)短的版權(quán)信息。

（7）-W help or --help,?-W usage or --usage?：打印全部awk選項(xiàng)和每個(gè)選項(xiàng)的簡(jiǎn)短說明。

（8）-W lint or --lint?：打印不能向傳統(tǒng)unix平臺(tái)移植的結(jié)構(gòu)的警告。

（9）-W lint-old or --lint-old?：打印關(guān)于不能向傳統(tǒng)unix平臺(tái)移植的結(jié)構(gòu)的警告。

（10）-W posix?：打開兼容模式。但有以下限制，不識(shí)別：/x、函數(shù)關(guān)鍵字、func、換碼序列以及當(dāng)fs是一個(gè)空格時(shí)，將新行作為一個(gè)域分隔符；操作符**和**=不能代替^和^=；fflush無效。

（11）-W re-interval or --re-inerval?：允許間隔正則表達(dá)式的使用，參考(grep中的Posix字符類)，如括號(hào)表達(dá)式[[:alpha:]]。

（12）-W source program-text or --source program-text?：使用program-text作為源代碼，可與-f命令混用。

（13）-W version or --version?：打印bug報(bào)告信息的版本。

三. 使用方法

#awk '{pattern + action}' {filenames}

? ? ?盡管操作可能會(huì)很復(fù)雜，但語法總是這樣，其中 pattern 表示 AWK 在數(shù)據(jù)中查找的內(nèi)容，而 action 是在找到匹配內(nèi)容時(shí)所執(zhí)行的一系列命令?；ɡㄌ?hào)（{}）不需要在程序中始終出現(xiàn)，但它們用于根據(jù)特定的模式對(duì)一系列指令進(jìn)行分組。 pattern就是要表示的正則表達(dá)式，用斜杠括起來。

? ? ?awk語言的最基本功能是在文件或者字符串中基于指定規(guī)則瀏覽和抽取信息，awk抽取信息后，才能進(jìn)行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。

? ? ?通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然后執(zhí)行相應(yīng)的命令，來處理文本。

四.?模式和操作

awk腳本是由模式和操作組成的：

? ? pattern {action}?如$ awk '/root/' test，或$ awk '$3 < 100' test。

????兩者是可選的，如果沒有模式，則action應(yīng)用到全部記錄，如果沒有action，則輸出匹配全部記錄。默認(rèn)情況下，每一個(gè)輸入行都是一條記錄，但用戶可通過RS變量指定不同的分隔符進(jìn)行分隔。

4.1.?模式

?模式可以是以下任意一個(gè)：

（1）正則表達(dá)式：使用通配符的擴(kuò)展集。

（2）關(guān)系表達(dá)式：可以用下面運(yùn)算符表中的關(guān)系運(yùn)算符進(jìn)行操作，可以是字符（3）串或數(shù)字的比較，如$2>%1選擇第二個(gè)字段比第一個(gè)字段長(zhǎng)的行。

（4）模式匹配表達(dá)式：用運(yùn)算符~(匹配)和~!(不匹配)。

（5）模式，模式：指定一個(gè)行的范圍。該語法不能包括BEGIN和END模式。

（6）BEGIN：讓用戶指定在第一條輸入記錄被處理之前所發(fā)生的動(dòng)作，通常可在這里設(shè)置全局變量。

（7）END：讓用戶在最后一條輸入記錄被讀取之后發(fā)生的動(dòng)作。

?

4.2.?操作

?操作由一人或多個(gè)命令、函數(shù)、表達(dá)式組成，之間由換行符或分號(hào)隔開，并位于大括號(hào)內(nèi)。主要有四部份：

（1）變量或數(shù)組賦值

（2）輸出命令

（3）內(nèi)置函數(shù)

（4）控制流命令

?

五.?awk的環(huán)境變量

變量	描述
$n	當(dāng)前記錄的第n個(gè)字段，字段間由FS分隔。
$0	完整的輸入記錄。
ARGC	命令行參數(shù)的數(shù)目。
ARGIND	命令行中當(dāng)前文件的位置(從0開始算)。
ARGV	包含命令行參數(shù)的數(shù)組。
CONVFMT	數(shù)字轉(zhuǎn)換格式(默認(rèn)值為%.6g)
ENVIRON	環(huán)境變量關(guān)聯(lián)數(shù)組。
ERRNO	最后一個(gè)系統(tǒng)錯(cuò)誤的描述。
FIELDWIDTHS	字段寬度列表(用空格鍵分隔)。
FILENAME	當(dāng)前文件名。
FNR	同NR，但相對(duì)于當(dāng)前文件。
FS	字段分隔符(默認(rèn)是任何空格)。
IGNORECASE	如果為真，則進(jìn)行忽略大小寫的匹配。
NF	當(dāng)前記錄中的字段數(shù)。
NR	當(dāng)前記錄數(shù)。
OFMT	數(shù)字的輸出格式(默認(rèn)值是%.6g)。
OFS	輸出字段分隔符(默認(rèn)值是一個(gè)空格)。
ORS	輸出記錄分隔符(默認(rèn)值是一個(gè)換行符)。
RLENGTH	由match函數(shù)所匹配的字符串的長(zhǎng)度。
RS	記錄分隔符(默認(rèn)是一個(gè)換行符)。
RSTART	由match函數(shù)所匹配的字符串的第一個(gè)位置。
SUBSEP	數(shù)組下標(biāo)分隔符(默認(rèn)值是/034)。

?

六.?awk運(yùn)算符

運(yùn)算符	描述
= += -= *= /= %= ^= **=	賦值
?:	C條件表達(dá)式
||	邏輯或
&&	邏輯與
~ ~!	匹配正則表達(dá)式和不匹配正則表達(dá)式
< <= > >= != ==	關(guān)系運(yùn)算符
空格	連接
+ -	加，減
* / &	乘，除與求余
+ - !	一元加，減和邏輯非
^ ***	求冪
++ --	增加或減少，作為前綴或后綴
$	字段引用
in	數(shù)組成員

?

七.?記錄和域

7.1.?記錄

? ?awk把每一個(gè)以換行符結(jié)束的行稱為一個(gè)記錄。

???記錄分隔符：默認(rèn)的輸入和輸出的分隔符都是回車，保存在內(nèi)建變量ORS和RS中。

???$0變量：它指的是整條記錄。如$ awk '{print $0}' test將輸出test文件中的所有記錄。

???變量NR：一個(gè)計(jì)數(shù)器，每處理完一條記錄，NR的值就增加1。

???如$ awk '{print NR,$0}' test將輸出test文件中所有記錄，并在記錄前顯示記錄號(hào)。

?
7.2.?域

???記錄中每個(gè)單詞稱做“域”，默認(rèn)情況下以空格或tab分隔。awk可跟蹤域的個(gè)數(shù)，并在內(nèi)建變量NF中保存該值。如$ awk '{print $1,$3}' test將打印test文件中第一和第三個(gè)以空格分開的列(域)。

?

7.3.?域分隔符

???內(nèi)建變量FS保存輸入域分隔符的值，默認(rèn)是空格或tab。我們可以通過-F命令行選項(xiàng)修改FS的值。如$ awk -F: '{print $1,$5}' test將打印以冒號(hào)為分隔符的第一，第五列的內(nèi)容。

???可以同時(shí)使用多個(gè)域分隔符，這時(shí)應(yīng)該把分隔符寫成放到方括號(hào)中，如$awk -F'[:/t]' '{print $1,$3}' test，表示以空格、冒號(hào)和tab作為分隔符。

???輸出域的分隔符默認(rèn)是一個(gè)空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5間的逗號(hào)就是OFS的值。

八.?匹配操作符(~)

???用來在記錄或者域內(nèi)匹配正則表達(dá)式。如$ awk '$1 ~/^root/' test將顯示test文件第一列中以root開頭的行。

?

九.?比較表達(dá)式

? ?conditional expression1 ? expression2: expression3，

? ?例如：
? ?$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一個(gè)域大于第三個(gè)域，$1就賦值給max，否則$3就賦值給max。

? ?$ awk '$1 + $2 < 100' test。如果第一和第二個(gè)域相加大于100，則打印這些行。

? ?$ awk '$1 > 5 && $2 < 10' test,如果第一個(gè)域大于5，并且第二個(gè)域小于10，則打印這些行。

?

十.?范圍模板

???范圍模板匹配從第一個(gè)模板的第一次出現(xiàn)到第二個(gè)模板的第一次出現(xiàn)之間所有行。如果有一個(gè)模板沒出現(xiàn)，則匹配到開頭或末尾。如$ awk '/root/,/mysql/' test將顯示root第一次出現(xiàn)到mysql第一次出現(xiàn)之間的所有行。

十一.?示例
1. ?入門實(shí)例
1.1?顯示最近登錄的5個(gè)帳號(hào):??

#last -n 5 | awk '{print $1}' root root root dmtsai root

1.2?如果只是顯示/etc/passwd的賬戶:

#cat /etc/passwd |awk -F ':' '{print $1}'? root daemon bin sys

1.3?如果只是顯示/etc/passwd的賬戶和賬戶對(duì)應(yīng)的shell,而賬戶與shell之間以tab鍵分割:

#cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'? root /bin/bash daemon /bin/sh? bin /bin/sh? sys /bin/sh

1.4?如果只是顯示/etc/passwd的賬戶和賬戶對(duì)應(yīng)的shell,而賬戶與shell之間以逗號(hào)分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh":

#cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}' name,shell root,/bin/bash daemon,/bin/sh? bin,/bin/sh? sys,/bin/sh? .... blue,/bin/nosh

1.5?搜索/etc/passwd有root關(guān)鍵字的所有行:

#awk -F: '/root/' /etc/passwd? root:x:0:0:root:/root:/bin/bash

這種是pattern的使用示例，匹配了pattern(這里是root)的行才會(huì)執(zhí)行action(沒有指定action，默認(rèn)輸出每行的內(nèi)容)。

搜索支持正則，例如找root開頭的:?awk -F: '/^root/' /etc/passwd

1.6?搜索/etc/passwd有root關(guān)鍵字的所有行，并顯示對(duì)應(yīng)的shell

# awk -F: '/root/{print $7}' /etc/passwd? /bin/bash

1.7 其他小示例:

$ awk '/^(no|so)/' test-----打印所有以模式no或so開頭的行。

$ awk '/^[ns]/{print $1}' test-----如果記錄以n或s開頭，就打印這個(gè)記錄。

$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一個(gè)域以兩個(gè)數(shù)字結(jié)束就打印這個(gè)記錄。

$ awk '$1 == 100 || $2 < 50' test-----如果第一個(gè)或等于100或者第二個(gè)域小于50，則打印該行。

$ awk '$1 != 10' test-----如果第一個(gè)域不等于10就打印該行。

$ awk '/test/{print $1 + 10}' test-----如果記錄包含正則表達(dá)式test，則第一個(gè)域加10并打印出來。

$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一個(gè)域大于5則打印問號(hào)后面的表達(dá)式值，否則打印冒號(hào)后面的表達(dá)式值。

$ awk '/^root/,/^mysql/' test----打印以正則表達(dá)式root開頭的記錄到以正則表達(dá)式mysql開頭的記錄范圍內(nèi)的所有記錄。如果找到一個(gè)新的正則表達(dá)式root開頭的記錄，則繼續(xù)打印直到下一個(gè)以正則表達(dá)式mysql開頭的記錄為止，或到文件末尾。

2. awk內(nèi)置變量示例
統(tǒng)計(jì)/etc/passwd:文件名，每行的行號(hào)，每行的列數(shù)，對(duì)應(yīng)的完整行內(nèi)容:

#awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

使用printf替代print,可以讓代碼更加簡(jiǎn)潔，易讀

#awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

? ?awk中同時(shí)提供了print和printf兩種打印輸出的函數(shù)。

? ?其中print函數(shù)的參數(shù)可以是變量、數(shù)值或者字符串。字符串必須用雙引號(hào)引用，參數(shù)用逗號(hào)分隔。如果沒有逗號(hào)，參數(shù)就串聯(lián)在一起而無法區(qū)分。這里，逗號(hào)的作用與輸出文件的分隔符的作用是一樣的，只是后者是空格而已。

? ?printf函數(shù)，其用法和c語言中printf基本相似,可以格式化字符串,輸出復(fù)雜時(shí)，printf更加好用，代碼更易懂。

3.?awk自定義變量

3.1. 下面統(tǒng)計(jì)/etc/passwd的賬戶人數(shù):

#awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd root:x:0:0:root:/root:/bin/bash ...... user count is ?40

count是自定義變量。之前的action{}里都是只有一個(gè)print,其實(shí)print只是一個(gè)語句，而action{}可以有多個(gè)語句，以;號(hào)隔開。

3.2.?這里沒有初始化count，雖然默認(rèn)是0，但是妥當(dāng)?shù)淖龇ㄟ€是初始化為0:

#awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd? [start]user count is 0 root:x:0:0:root:/root:/bin/bash ... [end]user count is 40

3.3.?統(tǒng)計(jì)某個(gè)文件夾下的文件占用的字節(jié)數(shù):

#ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}' [end]size is ?8657198

3.4?如果以M為單位顯示:

#ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is ?8.25889 M

注意，統(tǒng)計(jì)不包括文件夾的子目錄。

4. 條件語句

統(tǒng)計(jì)某個(gè)文件夾下的文件占用的字節(jié)數(shù),過濾4096大小的文件(一般都是文件夾):

#ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'? [end]size is ?8.22339 M

5.?循環(huán)語句

顯示/etc/passwd的賬戶:

#awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd? 0 root? 1 daemon? 2 bin? 3 sys? 4 sync? 5 games ......

總結(jié)

以上是生活随笔為你收集整理的Linux awk命令详解??????????(研究)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。