python代理IP的使用
生活随笔
收集整理的這篇文章主要介紹了
python代理IP的使用
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
python代理IP的使用
# 代理ip """ 客戶端和服務(wù)器之間通過網(wǎng)絡(luò)進(jìn)行通信。為什么客戶端能夠正確的找到服務(wù)器、服務(wù)器也能夠 正確的找到客戶端,涉及到網(wǎng)絡(luò)中的IP地址。在同一個(gè)網(wǎng)絡(luò)下IP地址是唯一的。 """""" 代理ip等于客戶端和目標(biāo)服務(wù)器之間的中間商。 我們通過中間商訪問目標(biāo)服務(wù)器,等于我們將需求告訴中間商,中間商根據(jù)需求訪問目標(biāo)服務(wù)器, 目標(biāo)服務(wù)器的響應(yīng)結(jié)果再一層一層的返回給我們。代理IP池:包含了N個(gè)代理ip。 """ # 常見的代理IP提供商:極光爬蟲代理、芝麻代理、蘑菇代理、西刺代理等。 import requests import json# 請(qǐng)求API接口獲取代理ipAPI_url = 'http://d.jghttp.alicloudecs.com/getip?num=10&type=2&pro=&city=0&yys=0&port=1&time=4&ts=0&ys=0&cs=0&lb=1&sb=0&pb=45&mr=1®ions='Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36' } resp = requests.get(url=API_url, headers=Headers) print(resp.text) # 對(duì)保存了代理IP的json數(shù)據(jù)序列化 ip_data_list = json.loads(resp.text)['data'] # for i in ip_data_list: # # 需要將代理ip拼接成:ip:port # ip_port = f'{i["ip"]}:{i["port"]}' # print(ip_port) print("_________________華麗的分界線________________") print(ip_data_list) ip_port_list = [f'{i["ip"]}:{i["port"]}' for i in ip_data_list] print("_________________華麗的分界線________________") print(ip_port_list)# 構(gòu)造代理ip需要的字典 proxy = {# 表示將一個(gè)代理ip拼接上它應(yīng)該走的協(xié)議'http': f'http://{ip_port_list[0]}','https': f'http://{ip_port_list[0]}' } print(proxy) URL = 'https://movie.douban.com/top250?start=0&filter=' resp = requests.get(url=URL, headers=Headers, proxies=proxy) if resp.status_code == 200:print(resp.text) else:print(resp.status_code)總結(jié)
以上是生活随笔為你收集整理的python代理IP的使用的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: hadoop组件中的hive安装
- 下一篇: python办公自动化pdf下载_最全总