昨天帶伙伴們學習python爬蟲，準備了幾個簡單的入門實例，分享給大家。

涉及主要知識點:

1.web是如何交互的

2.requests庫的get、post函數的應用

3.response對象的相關函數，屬性

4.python文件的打開，保存

代碼中給出了注釋，并且可以直接運行哦

如何安裝requests庫(安裝好python的朋友可以直接參考，沒有的，建議先裝一哈python環境)

windows用戶，Linux用戶幾乎一樣:
打開cmd輸入以下命令即可，如果python的環境在C盤的目錄，會提示權限不夠，只需以管理員方式運行cmd窗口

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

Linux用戶類似(ubantu為例): 權限不夠的話在命令前加入sudo即可

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

1. 爬取強大的BD頁面，打印頁面信息

# 第一個爬蟲示例,爬取百度頁面import requests #導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("http://www.baidu.com") #生成一個response對象response.encoding = response.apparent_encoding #設置編碼格式print("狀態碼:"+ str( response.status_code ) ) #打印狀態碼print(response.text)#輸出爬取的信息

2. 常用方法之get方法實例，下面還有傳參實例

# 第二個get方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("http://httpbin.org/get") #get方法print( response.status_code ) #狀態碼print( response.text )

3. 常用方法之post方法實例，下面還有傳參實例

# 第三個 post方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.post("http://httpbin.org/post") #post方法訪問print( response.status_code ) #狀態碼print( response.text )

4. put方法實例

# 第四個 put方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.put("http://httpbin.org/put") # put方法訪問print( response.status_code ) #狀態碼print( response.text )

5. 常用方法之get方法傳參實例(1)

如果需要傳多個參數只需要用&符號連接即可如下：

# 第五個 get傳參方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參print( response.status_code ) #狀態碼print( response.text )

6. 常用方法之get方法傳參實例(2)

params用字典可以傳多個

# 第六個 get傳參方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數data = {"name":"hezhi","age":20 } response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參print( response.status_code ) #狀態碼print( response.text )

7. 常用方法之post方法傳參實例(2) 和上一個有沒有很像

# 第七個 post傳參方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數data = {"name":"hezhi","age":20 } response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參print( response.status_code ) #狀態碼print( response.text )

8. 關于繞過反爬機制，以zh爸爸為例

# 第好幾個方法實例import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get( "http://www.zhihu.com") #第一次訪問知乎，不設置頭部信息print( "第一次,不設頭部信息,狀態碼:"+response.status_code )# 沒寫headers，不能正常爬取，狀態碼不是 200#下面是可以正常爬取的區別，更改了User-Agent字段headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"}#設置頭部信息,偽裝瀏覽器response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問,傳入headers參數，print( response.status_code ) # 200！訪問成功的狀態碼print( response.text )

9. 爬取信息并保存到本地

因為目錄關系，在D盤建立了一個叫做爬蟲的文件夾，然后保存信息

注意文件保存時的encoding設置

# 爬取一個html并保存import requestsurl = "http://www.baidu.com"response = requests.get( url )response.encoding = "utf-8" #設置接收編碼格式print("\nr的類型" + str( type(response) ) )print("\n狀態碼是:" + str( response.status_code ) )print("\n頭部信息:" + str( response.headers ) )print( "\n響應內容:" )print( response.text )#保存文件 file = open("D:\\爬蟲\\baidu.html","w",encoding="utf") #打開一個文件，w是文件不存在則新建一個文件，這里不用wb是因為不用保存成二進制file.write( response.text )file.close()

10. 爬取圖片，保存到本地

#保存百度圖片到本地import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到圖片響應file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個文件,wb表示以二進制格式打開一個文件只用于寫入file.write(response.content) #寫入文件file.close()#關閉操作，運行完畢后去你的目錄看一眼有沒有保存成功

關于Python技術儲備

學好 Python 不論是就業還是做副業賺錢都不錯，但要學會 Python 還是要有一個學習規劃。最后大家分享一份全套的 Python 學習資料，給那些想學習 Python 的小伙伴們一點幫助！

一、Python所有方向的學習路線

Python所有方向的技術點做的整理，形成各個領域的知識點匯總，它的用處就在于，你可以按照上面的知識點去找對應的學習資源，保證自己學得較為全面。（文末獲取！）

溫馨提示：篇幅有限，已打包文件夾，獲取方式在“文末”！！！

二、Python必備開發工具

三、精品Python學習書籍

當我學到一定基礎，有自己的理解能力的時候，會去閱讀一些前輩整理的書籍或者手寫的筆記資料，這些筆記詳細記載了他們對一些技術點的理解，這些理解是比較獨到，可以學到不一樣的思路。

四、Python視頻合集

觀看零基礎學習視頻，看視頻學習是最快捷也是最有效果的方式，跟著視頻中老師的思路，從基礎到深入，還是很容易入門的。

五、實戰案例

光學理論是沒用的，要學會跟著一起敲，要動手實操，才能將自己的所學運用到實際當中去，這時候可以搞點實戰案例來學習。

六、Python練習題

檢查學習結果。

七、面試資料

我們學習Python必然是為了找到高薪的工作，下面這些面試題是來自阿里、騰訊、字節等一線互聯網大廠最新的面試資料，并且有阿里大佬給出了權威的解答，刷完這一套面試資料相信大家都能找到滿意的工作。

這份完整版的Python全套學習資料已經上傳CSDN，朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】

總結

以上是生活随笔為你收集整理的10个Python爬虫入门实例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。