這篇文章主要介紹了10個(gè)python爬蟲(chóng)入門實(shí)例(小結(jié))，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

昨天帶伙伴萌學(xué)習(xí)python爬蟲(chóng)，準(zhǔn)備了幾個(gè)簡(jiǎn)單的入門實(shí)例

涉及主要知識(shí)點(diǎn):

web是如何交互的

requests庫(kù)的get、post函數(shù)的應(yīng)用

response對(duì)象的相關(guān)函數(shù)，屬性

python文件的打開(kāi)，保存

代碼中給出了注釋，并且可以直接運(yùn)行哦

如何安裝requests庫(kù)(安裝好python的朋友可以直接參考，沒(méi)有的，建議先裝一哈python環(huán)境)

windows用戶，Linux用戶幾乎一樣:

打開(kāi)cmd輸入以下命令即可，如果python的環(huán)境在C盤的目錄，會(huì)提示權(quán)限不夠，只需以管理員方式運(yùn)行cmd窗口

|

1

|

pip install -``i https:``/``/``pypi.tuna.tsinghua.edu.cn``/``simple requests

|

Linux用戶類似(ubantu為例): 權(quán)限不夠的話在命令前加入sudo即可

|

1

|

sudo pip install -i https:``//pypi``.tuna.tsinghua.edu.cn``/simple requests

|

1.爬取強(qiáng)大的BD頁(yè)面，打印頁(yè)面信息

# 第一個(gè)爬蟲(chóng)示例,爬取百度頁(yè)面

import requests #導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

response = requests.get(``"[http://www.baidu.com](http://www.baidu.com/)"``) #生成一個(gè)response對(duì)象

response.encoding = response.apparent_encoding #設(shè)置編碼格式

print``(``"狀態(tài)碼:"``+ str``( response.status_code ) ) #打印狀態(tài)碼

print``(response.text)``#輸出爬取的信息

|

2.常用方法之get方法實(shí)例，下面還有傳參實(shí)例

# 第二個(gè)get方法實(shí)例

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

response = requests.get(``"[http://httpbin.org/get](http://httpbin.org/get)"``) #get方法

print``( response.status_code ) #狀態(tài)碼

print``( response.text )

|

3. 常用方法之post方法實(shí)例，下面還有傳參實(shí)例

|

# 第三個(gè) post方法實(shí)例

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

response = requests.post(``"[http://httpbin.org/post](http://httpbin.org/post)"``) #post方法訪問(wèn)

print``( response.status_code ) #狀態(tài)碼

print``( response.text )

|

4. put方法實(shí)例

|

# 第四個(gè) put方法實(shí)例

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

response = requests.put(``"[http://httpbin.org/put](http://httpbin.org/put)"``) # put方法訪問(wèn)

print``( response.status_code ) #狀態(tài)碼

print``( response.text )

|

5.常用方法之get方法傳參實(shí)例(1)

如果需要傳多個(gè)參數(shù)只需要用&符號(hào)連接即可如下

# 第五個(gè) get傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

response = requests.get(``"[http://httpbin.org/get?name=hezhi&age=20](http://httpbin.org/get?name=hezhi&age=20)"``) # get傳參

print``( response.status_code ) #狀態(tài)碼

print``( response.text )

|

6.常用方法之get方法傳參實(shí)例(2)

params用字典可以傳多個(gè)

|

# 第六個(gè) get傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

data = {

"name"``:``"hezhi"``,

"age"``:``20

}

response = requests.get( "[http://httpbin.org/get](http://httpbin.org/get)" , params``=``data ) # get傳參

print``( response.status_code ) #狀態(tài)碼

print``( response.text )

|

7.常用方法之post方法傳參實(shí)例(2) 和上一個(gè)有沒(méi)有很像

|

# 第七個(gè) post傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

data = {

"name"``:``"hezhi"``,

"age"``:``20

}

response = requests.post( "[http://httpbin.org/post](http://httpbin.org/post)" , params``=``data ) # post傳參

print``( response.status_code ) #狀態(tài)碼

print``( response.text )

|

8.關(guān)于繞過(guò)反爬機(jī)制，以zh爸爸為例

|

# 第好幾個(gè)方法實(shí)例

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

response = requests.get( "[http://www.zhihu.com](http://www.zhihu.com/)"``) #第一次訪問(wèn)知乎，不設(shè)置頭部信息

print``( "第一次,不設(shè)頭部信息,狀態(tài)碼:"``+``response.status_code )``# 沒(méi)寫headers，不能正常爬取，狀態(tài)碼不是 200

#下面是可以正常爬取的區(qū)別，更改了User-Agent字段

headers = {

"User-Agent"``:``"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

}``#設(shè)置頭部信息,偽裝瀏覽器

response = requests.get( "[http://www.zhihu.com](http://www.zhihu.com/)" , headers``=``headers ) #get方法訪問(wèn),傳入headers參數(shù)，

print``( response.status_code ) `

200！訪問(wèn)成功的狀態(tài)碼`

print``( response.text )

|

9.爬取信息并保存到本地,因?yàn)槟夸涥P(guān)系，在D盤建立了一個(gè)叫做爬蟲(chóng)的文件夾，然后保存信息

注意文件保存時(shí)的encoding設(shè)置。最后，如果你的時(shí)間不是很緊張，并且又想快速的python提高，最重要的是不怕吃苦，建議你可以架尉?信（同音）：276 3177 065 ，那個(gè)真的很不錯(cuò)，很多人進(jìn)步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~

# 爬取一個(gè)html并保存

import requests

url = "[http://www.baidu.com](http://www.baidu.com/)"

response = requests.get( url )

response.encoding = "utf-8" #設(shè)置接收編碼格式

print``(``"\nr的類型" + str``( type``(response) ) )

print``(``"\n狀態(tài)碼是:" + str``( response.status_code ) )

print``(``"\n頭部信息:" + str``( response.headers ) )

print``( "\n響應(yīng)內(nèi)容:" )

print``( response.text )

#保存文件

file = open``(``"D:\\爬蟲(chóng)\\baidu.html"``,``"w"``,encoding``=``"utf"``) #打開(kāi)一個(gè)文件，w是文件不存在則新建一個(gè)文件，這里不用wb是因?yàn)椴挥帽４娉啥M(jìn)制

file``.write( response.text )

file``.close()

|

10.爬取圖片，保存到本地

|

#保存百度圖片到本地

import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)

response = requests.get(``"[https://www.baidu.com/img/baidu_jgylogo3.gif](https://www.baidu.com/img/baidu_jgylogo3.gif)"``) #get方法的到圖片響應(yīng)

file = open``(``"D:\\爬蟲(chóng)\\baidu_logo.gif"``,``"wb"``) #打開(kāi)一個(gè)文件,wb表示以二進(jìn)制格式打開(kāi)一個(gè)文件只用于寫入

file``.write(response.content) #寫入文件

file``.close()``#關(guān)閉操作，運(yùn)行完畢后去你的目錄看一眼有沒(méi)有保存成功

|

到此這篇關(guān)于10個(gè)python爬蟲(chóng)入門實(shí)例(小結(jié))的文章就介紹到這了,更多相關(guān)python爬蟲(chóng)入門內(nèi)容請(qǐng)搜索python教程入門學(xué)習(xí)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持python教程入門學(xué)習(xí)！

總結(jié)

以上是生活随笔為你收集整理的10个python爬虫入门实例(小结)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。