在網絡迅速發展的今天，互聯網企業層出不窮，爬蟲工作者也越來越多，大家都知道，代理ip是爬蟲工作者的一個有力助手，今天小編在這里就與大家分享一下如何設置代理池以及偽裝成瀏覽器的方法，請看下面的介紹。

1.設置代理：

#定義代理ip

proxy_addr="122.241.72.191:808"

#設置代理

proxy=urllib.request.ProxyHandle({'http':proxy_addr})

#創建一個opener

opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

#將opener安裝為全局

urllib.request.install_opener(opener)

#用urlopen打開網頁

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.偽裝成瀏覽器

#導入urllib.request模塊

import urllib.request

#設置請求頭

headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

#創建一個opener

opener=urllib.request.build_opener()

#將headers添加到opener中

opener.addheaders=[headers]

#將opener安裝為全局

urllib.request.install_opener(opener)

#用urlopen打開網頁

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

這就是小編帶來的方法了，大家明白了嗎？希望代理ip軟件能給大家帶來更大的幫助。

轉載注明來自：智游代理IP http://www.zhiyoudaili.com/

相關文章內容簡介

1

爬蟲要選擇專業的代理IP

爬蟲是大數據時代非常受歡迎的工具，因為現在互聯網上的數據非常龐大，而且每天都在不斷的增加，所以信息采集脫離爬蟲幾乎是不可能的事情。爬蟲相當于一個訪問網頁的用戶，但不是一個普通的用戶，因為爬蟲在采集過程中會發出大量請求，而服務器一般很不歡迎這樣的用戶，所以總是用各種手段發現和禁止，也就是網站的“反爬蟲”機制。最常見的方法就是判斷你訪問的頻率，因為普通人訪問網頁的頻率是不會很快的，如果發現某個IP訪問的過快就會將此IP封禁。為了能讓爬蟲繼續工作，就要更換它的IP，常用的更換IP的方法就是用代理IP來更換，但是代理IP也有很多種類型，不同類型的代理IP適合不同的場景，而最適合爬蟲的則是高匿代理IP。所以，想讓爬蟲能夠高效的工作，一定要選擇高匿代理IP。...

[閱讀全文]

2

網絡爬蟲失敗的原因

在互聯網上，你可以看到各種各樣的數據，人們為了收集數據，不斷研發出新技術以收集數據，爬取數據和反爬取數據的戰爭白熱化，你來我往卻是一場沒有硝煙的戰爭，可以說是非常激烈了。封禁IP地址是最常見和最簡單的反爬數據操作。　　如今，人們越來越重視網絡信息安全，也越來越重視自身的知識產權。有網絡爬蟲的地方自然也有反網絡爬蟲，雙方一直僵持不下，大有道高一尺魔高一丈之感。在面對網絡爬蟲時，目標網站是如何做的呢？　　目標網站反網絡爬蟲最簡單直接的方式就是區分人類訪問用戶和網絡機器人，對HTTP請求頭的屬性都分外注意與小心，通過進行“是否具有人性”的檢查，區別人類訪問用戶和網絡爬蟲，當訪問次數超過了網站所規定的最高訪問次數，就會對該IP進行封禁，出現無法訪問該頁面的情況。　　但是如果使用HTTP代理IP，可以讓網絡爬蟲看起來更像人類訪問用戶，并且還可以偽裝真實IP。當訪問一個非常注重反爬蟲的網站時，盡量用那種很少檢查但是經常使用的動態IP，這樣的話在接受語言屬性時，是突破對手的反爬策略的關鍵。要注意經常使用但很少檢查的動態ip代理，比如接受語言屬性，它可能是你...

[閱讀全文]

總結

以上是生活随笔為你收集整理的爬虫单个ip代理设置_爬虫怎样设置代理ip池的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。