文章目錄

• • • awk和sed的區(qū)別
    • awk腳本的流程控制
    • awk 記錄和字段
    • • 字段的引用
    • awk表達(dá)式
    • • 賦值操作符
      • 算數(shù)操作符
      • 系統(tǒng)變量（awk本身自定義的系統(tǒng)變量）
      • 關(guān)系操作符
      • 布爾操作符
    • awk 條件和循環(huán)
    • • 條件語(yǔ)句
      • 循環(huán)
    • awk 的數(shù)組
    • • 數(shù)組的定義
      • 數(shù)組的遍歷
      • 刪除數(shù)組
      • • 舉例，編寫(xiě)awk腳本文件`avg.awk`
      • 命令行參數(shù)數(shù)組
      • 復(fù)雜數(shù)組的使用案例
    • awk函數(shù)
    • • 算數(shù)函數(shù)
      • 字符串函數(shù)
      • 自定義函數(shù)

awk和sed的區(qū)別

• awk更像是腳本語(yǔ)言
• awk用于“比較規(guī)范”的文本處理，用于統(tǒng)計(jì)數(shù)量并輸出指定字段
• 使用sed 將不規(guī)范的文本，處理為“比較規(guī)范的文本”

awk腳本的流程控制

• 輸入數(shù)據(jù)前 例程 BEGIN{}，相當(dāng)于預(yù)處理，進(jìn)行變量定義
• 主輸入循環(huán){} ，一般只寫(xiě)主輸入循環(huán)
• 所有文件讀取完成 例程END{}

awk 記錄和字段

• 每一行稱(chēng)為 akw記錄
• 使用空格、制表符分隔開(kāi)的單詞稱(chēng)為字段
• 可以自己指定分隔的字段

字段的引用

• awk中使用$1,$2,$3…$n表示每隔字段 awk '{print $1,$2,$3}' filename

• awk 可以使用-F選項(xiàng)改變字段分隔符 awk -F, '{print $1, $2, $3}' filename
  分隔符可以使用正則表達(dá)式
  使用單引號(hào)作為分隔符，讀取以menu開(kāi)頭的字段

  使用x++，可以打印行號(hào)

awk表達(dá)式

賦值操作符

• =最常使用的操作符(等號(hào)前后可以增加空格)
  1. var1 = "name"
  2. var2 = "hello" "world" 賦值多個(gè)運(yùn)算符
  3. var3 = $1
• 其他賦值運(yùn)算符
  ++ , -- , +=, -=, *=, /=, %=, ^=

算數(shù)操作符

• +, -, *, /, %, ^

系統(tǒng)變量（awk本身自定義的系統(tǒng)變量）

• FS和OFS系統(tǒng)變量，OFS表示輸出的字段分隔符
  awk讀取每一行的內(nèi)容之前，都會(huì)先讀取FS和OFS表示的分隔符，輸入時(shí)進(jìn)行字段的提取，輸出時(shí)根據(jù)OFS增加分隔符
  舉例如下：
  head -5 /etc/passwd | awk -F ":" '{print $1}'
  使用-F來(lái)分隔就等價(jià)于
  head -5 /etc/passwd | awk 'BEGIN{FS=":"}{print $1}'，通過(guò)BEGIN讀入之前，設(shè)置好字段分隔符。
  增加OFS輸出字段分隔符
  

• RS記錄分隔符,行之間的合并
  將每一行的記錄分隔符\n設(shè)置為:，則每當(dāng)遇到:，即代表一行
  head -5 /etc/passwd | awk 'BEGIN{RS=":"}{print $0}'

• NR和FNR行數(shù)
  當(dāng)輸入為多個(gè)文件時(shí)，FNR可以重排多個(gè)文件，FR則都按照一個(gè)文件的行號(hào)排列
  

• NF字段數(shù)量，最后一個(gè)字段內(nèi)容可以用$NF取出字段內(nèi)容
  head -5 /etc/passwd | awk 'BEGIN{FS=":"}{print NF}'，輸出每一行的字段個(gè)數(shù)
  head -5 /etc/passwd | awk 'BEGIN{FS=":"}{print $NF}'，輸出最后一個(gè)字段的內(nèi)容

關(guān)系操作符

<, >, <=, >=, ==, !=, ~, !~

布爾操作符

&&, ||, !

awk 條件和循環(huán)

條件語(yǔ)句

• 條件語(yǔ)句使用 if開(kāi)頭，根據(jù)表達(dá)式結(jié)果判斷執(zhí)行哪一條語(yǔ)句

  if(表達(dá)式)awk 語(yǔ)句1
  [elseawk 語(yǔ)句2
  ]
  

• 如果有多個(gè)語(yǔ)句需要執(zhí)行，可以使用{}將多個(gè)語(yǔ)句括起來(lái)
  

循環(huán)

• while循環(huán)

  while (表達(dá)式)awk 語(yǔ)句1
  

• do循環(huán)

  do{awk 語(yǔ)句1
  }while(表達(dá)式)
  

• for循環(huán)

  for(初始值;循環(huán)判斷條件;累加)awk 語(yǔ)句1
  

  使用for進(jìn)行求和，并取平均值
  cat kpi.txt | awk '{sum=0;for(c=2;c<=NF;++c) sum+=$c;print sum/(NF-1)}'
• 影響控制的其他語(yǔ)句
  break
continue

awk 的數(shù)組

主要為了對(duì)awk進(jìn)行多行關(guān)聯(lián)，多行之間進(jìn)行通信

數(shù)組的定義

數(shù)組：一組有某種關(guān)聯(lián)的數(shù)據(jù)（變量），通過(guò)下標(biāo)依次訪(fǎng)問(wèn)

數(shù)組名[下標(biāo)]=值
下標(biāo)可以使用數(shù)字，也可以使用字符串。
PS：即使使用的是數(shù)字，awk也會(huì)將其當(dāng)作字符串或者字符來(lái)處理

數(shù)組的遍歷

for (變量 in 數(shù)組名)
#使用 數(shù)組名[變量] 的方式依次對(duì)每個(gè)數(shù)組的元素進(jìn)行操作

刪除數(shù)組

delete 數(shù)組[下標(biāo)]

舉例，編寫(xiě)awk腳本文件avg.awk

awk '{sum=0;\for(c=2;c<=NF;++c)\sum+=$c;\avg[$1]=sum/(NF-1)}\END{\for(user in avg)sum2+=avg[user];print sum2/NR}' \
kpi.txt

加載awk腳本文件
awk -f avg.awk kpi.txt

命令行參數(shù)數(shù)組

命令行參數(shù)數(shù)組：ARGC 參數(shù)個(gè)數(shù) 和ARGV代表的參數(shù)內(nèi)容
主要用來(lái)輔助awk的腳本使用

編輯arg.awk

BEGIN{for(x = 0;x < ARGC;x ++)print ARGV[x] #打印每個(gè)參數(shù)內(nèi)容print ARGC #打印參數(shù)個(gè)數(shù)
}

執(zhí)行命令awk -f arg.awk 11 22 33
輸出如下:

awk #第0個(gè)參數(shù)，命令名稱(chēng)
11
22
33
4  #總共四個(gè)參數(shù)（當(dāng)前命令也會(huì)被記錄進(jìn)去）

復(fù)雜數(shù)組的使用案例

編輯result.awk，用來(lái)進(jìn)行總分，平均分、高于且低于平均分人數(shù)統(tǒng)計(jì)、分?jǐn)?shù)評(píng)級(jí)、各個(gè)級(jí)別人數(shù)統(tǒng)計(jì)，該數(shù)據(jù)記錄在kpi.txt

{
sum = 0
for(c = 2; c <= NF; c++)sum += $cavg[$1] = sum / (NF - 1)if(avg[$1] >= 80) #統(tǒng)計(jì)每個(gè)人的評(píng)級(jí)level = "S"
else if(avg[$1] >=70)level = "A"
else if(avg[$1] >= 60)level = "B"
else level = "C"print $1,avg[$1],levelletter_all[level] ++ #關(guān)聯(lián)數(shù)組，統(tǒng)計(jì)各個(gè)評(píng)級(jí)的人數(shù)
}
END {
for(usr in avg)sum2 += avg[usr]avg_all = sum2 / NR #所有人的平均成績(jī)
print "avg_all is :",avg_allfor(usr in avg) #計(jì)算超過(guò)以及小于平均成績(jī)的人數(shù)if(avg[usr] >= avg_all)up++elsedown++print "biger than avg_all",up
print "less than avg_all",downprint "S:",letter_all["S"]
print "A:",letter_all["A"]
print "B:",letter_all["B"]
print "C:",letter_all["C"]
}

運(yùn)行awk -f result.awk kpi.txt
其中kpi.txt內(nèi)容如下：

user1 72 56 83 91
user2 55 67 45 89
user3 90 87 85 83
user4 56 57 99 95
user5 55 60 64 32

最終輸出如下:

user1 75.5 A
user2 64 B
user3 86.25 S
user4 76.75 A
user5 52.75 C
avg_all is : 71.05
biger than avg_all 3
less than avg_all 2
S: 1
A: 2
B: 1
C: 1

awk函數(shù)

算數(shù)函數(shù)

• sin() 和 cos()
• int()
awk 'BEGIN{pi=3.14;print int(pi)}'
• rand() 偽隨機(jī)數(shù) 和 srand()重新獲取種子 0-1之間
  awk 'BEGIN{srand();print rand()}'

字符串函數(shù)

• gsub(r,s,t) 字符串替換
• sub(r,s,t)字符串替換
• substr(r,s,t)字符串替換
• split(s,a,sep) 字符串分割
• match(s,r) 字符串匹配
• length(s) 字符串長(zhǎng)度
• index(s,t)

通過(guò)man awk 搜索函數(shù)名稱(chēng)，可以看到具體函數(shù)的功能以及詳細(xì)用法

自定義函數(shù)

函數(shù)定義的位置，寫(xiě)在 BEGIN ,{},END之外

function 函數(shù)名(參數(shù)){awk 語(yǔ)句return awk 變量
}

舉例如下:
awk 'function a(){ return 0 } BEGIN{print a()}'

awk 'function twice(str) { return str str} BEGIN{print twice("hello awk")}'

總結(jié)

以上是生活随笔為你收集整理的shell --- awk规范 系统总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。