相較于爬蟲技術，反爬蟲實際上更復雜。目前許多互聯網企業都會花大力氣進行“反爬蟲”，網絡爬蟲不但會占據過多的網站流量，導致有真正需求的用戶沒法進入網站，另外也有可能會導致網站關鍵數據的外泄等現象。網絡爬蟲遍布互聯網的各個角落，因此網絡爬蟲有好處也有壞處，接下來介紹一下和網絡爬蟲一同誕生的反爬蟲技術，如何才能防止別人爬取自己的網站？
1、基于程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2、基于iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鐘內并發連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有“誤傷”，策略細粒度越小就會有更多的“誤傷”，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對于某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難準確做到，因為你無法準確知道這些特定的爬蟲ip地址。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，服務器也就會死機。
3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。
User-agent: *
Disallow: /
4.使用nginx的自帶功能：通過對httpuseragent阻塞來實現，包括GET/POST方式的請求，以nginx為例，具體步驟如下：
編輯nginx.conf
拒絕以wget方式的httpuseragent，增加如下內容

Block http user agent - wget

if ($http_user_agent ~* (Wget) ) {
return 403;
}

Block Software download user agents

if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑啟動

/usr/local/nginx/sbin/nginx -s reload

如何拒絕多種httpuseragent，內容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小寫敏感匹配

大小寫敏感http user agent拒絕###

if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}

大小寫不敏感http user agent拒絕###

if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意語法：_{*表示是大小寫不敏感，}表示是大小寫敏感
}

總結

以上是生活随笔為你收集整理的如何防止网站被爬虫爬取的几种办法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。