也許各位常常看到別人在群里聊天，某某人的網(wǎng)站出現(xiàn)什么問題了。。。別人建議查看網(wǎng)站的日志文件，分析蜘蛛的爬取情況。可是如何去分析日志文件卻很少有人去提，接下來我會大概介紹一下，如何去分析網(wǎng)站的日志文件，找出網(wǎng)站可能出現(xiàn)的問題等等。

一般我們的服務(wù)器是可以開啟蜘蛛爬取記錄文件的，如果沒有開啟這功能，可聯(lián)系空間商要求開通此功能，通過分析web log，找出自己站的問題所在。

日志文件一般是log為擴展名的文件，有的是GZ壓縮后的文件，沒有關(guān)系，我們下載下來，可以直接用記事本打開log文件，可看到里面的爬取記錄。

格式大致都是如下這種：

220.181.108.175 – – [25/Jul/2012:11:54:58 -0700] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

說明：第一個IP是蜘蛛的IP地址，依次為抓取時間，get的文件名，協(xié)議，狀態(tài)碼，百度蜘蛛。

請?zhí)貏e注意一下，狀態(tài)碼，如果網(wǎng)站出現(xiàn)很多404，需要在robots里屏蔽或者匯總提交給站長工具至搜索引擎，否則網(wǎng)站在搜索引擎眼里就是個很不正常的站點，而且網(wǎng)站的抓取也很有問題，需要正視這個問題，因為不少人的站點都是這個原因引起的，而自己卻渾然不知。

當然狀態(tài)碼只是一個方面，我們可以分析，蜘蛛每次來的時間大概是什么時候，每次蜘蛛來網(wǎng)站后共抓取多少個頁面，每次在網(wǎng)站上停留多少時間。通過匯總一個時間段的web log，可以分析出自己頁面的哪些目錄還沒有被搜索引擎抓取到，自己是否可以在適當?shù)奈恢谜故具@些頁面，或者通過站長工具的sitemap提交，多做些高質(zhì)量的外鏈來達到收錄效果。

相信我，利用好web log會讓你受益無窮！

文檔信息

最后修改時間：

2012年08月26日 23:44:24

看了此文的人貌似還看了這些:

∴2012-08-11

∴2012-07-29

∴2012-08-11

∴2012-07-28

∴2012-07-28

總結(jié)

以上是生活随笔為你收集整理的网站服务器蜘蛛日志怎么看,如何查看百度蜘蛛，google蜘蛛爬取记录？《网站日志分析篇》...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。