http://myhoop.blog.51cto.com/5556534/1367523

tomcat日志格式: http://www.cnblogs.com/anic/archive/2012/12/13/2817126.html

一,統(tǒng)計(jì)1.27日到2.2日的日志

蛋疼點(diǎn):

1,天數(shù)多,機(jī)器多

先想辦法列出所有要統(tǒng)計(jì)的壓縮包

2,日志都已壓縮

bzcat可以在不解壓情況下查壓縮內(nèi)容

pv統(tǒng)計(jì):

bzcat node{1,2,3,4}/ access_log.2017-02-0{1,2}*.bz2 node{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep "your keywords"|wc -lbzcat node{1,2,3,4}/ access_log.2017-02-0{1,2}*.bz2 node{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep " your keywords"|wc -l

uv統(tǒng)計(jì):

蛋疼點(diǎn): X-Forwarded-For對(duì)應(yīng)用戶(hù)真實(shí)ip,日志|分割,從日志看,有些|分割第一項(xiàng)有2個(gè)ip,有些日志條目有1個(gè)ip. 解決:先按|awk過(guò)濾,再按,過(guò)濾,過(guò)濾出第一列,之后去重,然后后統(tǒng)計(jì).

bzcat node{1,2,3,4}/access_log.2017-02-0{1,2}*.bz2 java{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep " your keywords "|awk -F '|' '{print$1}'|awk -F ',' '{print $1}'|sort|uniq -c|sort -rn|wc -lbzcat node{1,2,3,4}/access_log.2017-02-0{1,2}*.bz2 java{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep " your keywords "|awk -F '|' '{print$1}'|awk -F ',' '{print $1}'|sort|uniq -c|sort -rn|wc –l

?

轉(zhuǎn)載于:https://www.cnblogs.com/iiiiher/p/6371321.html

總結(jié)

以上是生活随笔為你收集整理的[svc][op]从历险压缩日志里网站pv uv统计的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。