爬蟲有時會遭遇兩種情況,導致無法正常爬取
(1)IP封鎖,(貌似美團會出現(xiàn))
(2)禁止機器人爬取,(比如Amazon)

解決方法:
我們以下面文章里的爬蟲代碼為例
http://blog.csdn.net/co_zy/article/details/77150544
其中的getHTMLText()函數(shù),更改如下,添加fakeHeaders ,proxies
這里的可以通過ip測試網(wǎng)站進行驗證是否成功使用了代理 http://ip.chinaz.com/

def getHTMLText(self,url):fakeHeaders = {'user-agent':'Mozilla/5.0'}proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } try:r = requests.get(url,headers = fakeHeaders , proxies=proxies,timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""

總結(jié)

以上是生活随笔為你收集整理的Python -bs4反爬虫解决方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。