什么是爬蟲?
通過編寫代碼，模擬瀏覽器發送請求，讓其去網絡上抓去數據的過程。

爬蟲分類？
通用爬蟲
抓取整張網頁的全部內容
聚焦爬蟲
抓取一張頁面的部分內容
通用爬蟲和聚焦爬蟲的關聯：

聚焦是建立在通用爬vb.net教程蟲的基礎上
增量式爬蟲
監測網站數據的更新情況，以便將最新的數據進行爬取。
reqeusts簡介
reqeusts作用：實現爬蟲，模擬瀏覽器上網。

編碼流程：
指定url地址(指定要爬取的網站地址)
發起請求
獲取響應的數據
持久化儲存
環境安裝： pip install requests
UA檢測
什么是UA檢測？
UA是請求載體的身份標識
UA查找路徑：打開瀏覽器，搜索一個網頁→Ctrl+Shift+c→Network→選擇網址對飲的name→Headers→User-Agent（把后面的值復制）
常用瀏覽器請求頭UA

Chrome
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1

win10 64
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36

Firefox
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0

Safari
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50

Opera
Win7:
Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50

IE
Win7+ie9：
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)

Win7+ie8：
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)

WinXP+ie8：
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB7.0)

WinXP+ie7：
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)

WinXP+ie6：
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

傲游
傲游3.1.7在Win7+ie9,高速模式:
Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12

傲游3.1.7在Win7+ie9,IE內核兼容模式:
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)

搜狗
搜狗3.0在Win7+ie9,IE內核兼容c#教程模式:
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)

搜狗3.0在Win7+ie9,高速模式:
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.33 Safari/534.3 SE 2.X MetaSr 1.0

360
360瀏覽器3.0在Win7+ie9:
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)

QQ瀏覽器
QQ瀏覽器6.9(11079)在Win7+ie9,極速模式:
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1 QQBrowser/6.9.11079.201

QQ瀏覽器6.9(11079)在Win7+ie9,IE內核兼容模式:
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201

阿云瀏覽器
阿云瀏覽器1.3.0.1724 Beta(編譯日期2011-12-05)在Win7+ie9:
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)
案例：搜狗首頁的源碼數python基礎教程據爬取
“”"
搜狗首頁的源碼數據爬取
需要UA偽裝
“”"
import requests

inp = input(‘搜索：’)
params = {
# url攜帶的請求參數
‘query’: inp,
}

UA偽裝，請求頭信息

headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’
}

指定url（網址）

url = f’https://www.sogou.com/web’

get發起請求，攜帶請求參數，返回的是一個響應對象

# url 網址，params 參數動態化，headers UA偽裝

response = requests.get(url=url, params=params, headers=headers)
response.encoding = ‘utf-8’ # 手動修改編碼格式指定utf8，處理亂碼問題

獲取響應數據 .test

page_text = response.text
fileName = inp + ‘.html’

持久化存儲

with open(fileName, ‘w’, encoding=‘utf-8’) as f:
f.write(page_text)
print(‘ok’)
動態加載
案例：爬取豆瓣電影中愛情類型中的詳情數據
動態加載的數據：通過另一個請求單獨請求到的數據
如何檢測爬取的數據是否為動態加載的數據？
基于抓包工具進行局部搜索
抓包工具獲取到的所有數據包，然后找到瀏覽器地址欄url對應的數據包，response這個選項卡中進行局部搜索（搜到或者搜不到）
搜不到：數據為動態加載
全局搜索Ctrl+F，搜索想要的數據
能搜到：數據不是動態加載
直接對瀏覽器地址欄的url發起請求獲取數據即可
代碼實現單頁爬取
import requests

UA偽裝，請求頭信息

headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’
}

請求攜帶的參數

params = {
‘type’: ‘15’,
‘interval_id’: ‘100:90’,
‘action’: ‘’,
‘start’: ‘0’,
‘limit’: ‘20’,
}

請求的網址

url = “https://movie.douban.com/j/chart/top_list?”

發起請求 url網址 headers請求頭 params請求攜帶的參數

res = requests.get(url=url,params=params,headers=headers)
data_list = res.json() # 返回的是序列化的列表
for i in data_list:
title = i[“title”]
types = i[“types”]
print(title,types)
案例：KFC餐廳的位置信息進行爬取
網址：http://www.kfc.com.cn/kfccda/storelist/index.aspx
代碼實現全站爬取
data參數相當于params，實現參數動態化
import requests

url = “http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword”
city = input("city name ： ")
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’
}

全站信息爬取

for i in range(1,111):
# 獲取餐廳地址所需要的動態參數，鍵值對，值為str
data = {
‘cname’: ‘’,
‘pid’: ‘’,
‘keyword’: city, # 數據的搜索地址
‘pageIndex’: str(i), # 數據的頁碼數
‘pageSize’: ‘10’, # 每一頁的數據量
}

headers請求頭 data參數動態化

pos_list = requests.post(url=url,headers=headers,data=data).json()["Table1"] # 返回一個響應對象 .json()返回了一個序列化好的字典對象 ['Table1']獲取Key所對應的value值for i in pos_list:s = i["addressDetail"]print(s)

requests中，get和post的區別就是參數一個是params，一個是data。

案例：所有企業的詳情數據
網址：http://125.35.6.84:81/xk/
分析
每一家企業所對應的詳情數據是動態加載的
通過抓包工具進行了全局搜索，定位到了動態加載數據對贏得數據包
提取url：每家企業對應的url都一樣
請求方式：都一樣
請求參數：都為ID，但是參數值不同
ID為每家企業的唯一標識
捕獲到每家企業的唯一標識id，可以完成需求
對企業ID的捕獲
在首頁中進行分析，使用抓包工具進行了企業名稱的全局搜索，定位到的數據包的數據中就包含了企業名稱和對應的id值
代碼實現全站爬取
import requests

headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’
}

url = “http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList”

將企業ID存放到列表中

list_1 = []

爬取全棧（目前只爬取9頁，爬多了之后會被限制）

for a in range(1,10):
data = {
‘on’: ‘true’,
‘page’: str(a),
‘pageSize’: ‘15’,
‘productName’: ‘’,
‘conditionType’: ‘1’,
‘applyname’: ‘’,
‘applysn’: ‘’,
}
ret_dic = requests.post(url=url,data=data,headers=headers).json()[‘list’] # .json()返回一個字典類型的對象 [‘list’]取字典中list對應的值
# 捕獲企業ID
for i in ret_dic:
_id = i[‘ID’]
list_1.append(_id)

detail_url = “http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById”

for i in list_1:
data = {
‘id’: i
}
com_data = requests.post(url=detail_url,headers=headers,data=data).json()
legalPerson = com_data[“legalPerson”]
epsName = com_data[“epsName”]
print(legalPerson,epsName)
# 測試了一遍，只爬取了50頁，就限制了
總結
requests的基本使用
編碼流程
指定url
發起請求
獲取響應數據
持久化存儲
搜狗首頁數據爬取 ==> 流程
參數動態化
UA偽裝
修改響應數據的編碼格式
get/post返回值 .encoding=“編碼格式”
get/post：
url
headers
params/data
動態加載的數據
通過非地址欄url所對應的地址請求到的數據
如何檢測數據為動態加載
基于抓包工具進行局部搜索
全站數據的爬取
簡單來說就是一個for循環，控制頁碼數
代碼改變世界，腳踏實地，python、Golang。

總結

以上是生活随笔為你收集整理的爬虫之初识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。