获取西刺代理IP构建代理池
生活随笔
收集整理的這篇文章主要介紹了
获取西刺代理IP构建代理池
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
# -*- coding: utf-8 -*-
# @Time： 2020/1/2 19:03
# @Author: gaoyanshun
# @ Site:
# @File: 獲取西刺代理
# @ Explain:
# 當(dāng)前維護(hù)者: gaoyanshun
# 修改記錄: 時(shí)間，用戶名，修改內(nèi)容。 最上面一條為最近記錄
# 環(huán)境：Python2.7,requests,bs4,re,import requests
from bs4 import BeautifulSoup
import reuser_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5)'
headers = {'User-Agent': user_agent}def getListProxies():session = requests.session()page = session.get("http://www.xicidaili.com/nn", headers=headers)soup = BeautifulSoup(page.text, 'lxml')proxyList = []taglist = soup.find_all('tr', attrs={'class': re.compile("(odd)|()")})for trtag in taglist:tdlist = trtag.find_all('td')proxy = {'http': tdlist[1].string + ':' + tdlist[2].string,'https': tdlist[1].string + ':' + tdlist[2].string}proxyList.append(proxy)# 設(shè)定代理ip個(gè)數(shù)if len(proxyList) >= 10:breakreturn proxyListres = getListProxies()
print len(res)
print(res)
總結(jié)
以上是生活随笔為你收集整理的获取西刺代理IP构建代理池的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： halcon联合C#测量十字Mark中心
- 下一篇： console类详细解释