本次主要學習內容有requests\BeautifulSoup\scrapy\re，目前除了scrapy其他剛好看完。并搬運實現了一些小項目如58同城租房信息爬取、淘寶搜索商品項目，現將從爬蟲基本方法、實戰和遇到的問題三個方面進行總結。

1.基本方法

首先就是requests庫，是python最簡易實用的HTTP庫，是一個請求庫。主要方法如下，其中requests.request()方法最常用，用于構造請求，是其他幾種方法的總和。其余方法如get()獲取HTML網頁，head()獲取網頁head標簽，post()\pu()t用于提交對應請求，patch()進行局部修改，delete()提交刪除請求。

著重介紹request.get()方法，requests.get(url, params=None,**kwargs)

其中url為頁面鏈接，params為額外參數，字典格式，**kwargs包含了12個控制訪問的參數。（params\data\json\headers\cookies\auth\files\timeout\proxies\allow_redirects\stream\verify\cert）

通常我們使用get()方法獲取頁面的內容。

接著介紹請求得到的Response對象，見下表。

總結

以上是生活随笔為你收集整理的请查收，一份让你年薪突破20W的Python爬虫笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。