現(xiàn)在的網(wǎng)絡(luò)爬蟲越來(lái)越多，有很多爬蟲都是初學(xué)者寫的，和搜索引擎的爬蟲不一樣，他們不懂如何控制速度，結(jié)果往往大量消耗服務(wù)器資源，導(dǎo)致帶寬白白浪費(fèi)了。

其實(shí)Nginx可以非常容易地根據(jù)User-Agent過(guò)濾請(qǐng)求，我們只需要在需要URL入口位置通過(guò)一個(gè)簡(jiǎn)單的正則表達(dá)式就可以過(guò)濾不符合要求的爬蟲請(qǐng)求：

...location / {if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {return 503;}# 正常處理...}...

變量$http_user_agent是一個(gè)可以直接在location中引用的Nginx變量。~*表示不區(qū)分大小寫的正則匹配，通過(guò)python就可以過(guò)濾掉80%的Python爬蟲。

總結(jié)

以上是生活随笔為你收集整理的使用Nginx过滤网络爬虫的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。