剛開始接觸爬蟲的時候，簡直驚為天人，十幾行代碼，就可以將無數網頁的信息全部獲取下來，自動選取網頁元素，自動整理成結構化的文件。

利用這些數據，可以做很多領域的分析、市場調研，獲得很多有價值的信息。這種技能不為我所用實在可惜，于是果斷開始學習。

- -并非開始都是最容易的

剛開始對爬蟲不是很了解，又沒有任何的計算機、編程基礎，確實有點懵逼。從哪里開始，哪些是最開始應該學的，哪些應該等到有一定基礎之后再學，也沒個清晰的概念。

因為是 Python 爬蟲嘛，Python 就是必備的咯，那先從 Python 開始吧。于是看了一些教程和書籍，了解基本的數據結構，然后是列表、字典、元組，各種函數和控制語句（條件語句、循環語句）。

學了一段時間，才發現自己還沒接觸到真正的爬蟲呢，而且純理論學習很快就忘了，回去復習又太浪費時間，簡直不要太絕望。把 Python 的基礎知識過了一遍之后，我竟然還沒裝一個可以敲代碼的IDE，想想就哭笑不得。

- -開始直接上手

轉機出現在看過一篇爬蟲的技術文章后，清晰的思路和通俗易懂的語言讓我覺得，這才是我想學的爬蟲。于是決定先配一個環境，試試看爬蟲到底是怎么玩的。（當然你可以理解為這是浮躁，但確實每個小白都想去做直觀、有反饋的事情）

因為怕出錯，裝了比較保險的 Anaconda，用自帶的 Jupyter Notebook 作為IDE來寫代碼。看到很多人說因為配置環境出各種BUG，簡直慶幸。很多時候打敗你的，并不是事情本身，說的就是爬蟲配置環境這事兒。

遇到的另一個問題是，Python 的爬蟲可以用很多包或者框架來實現，應該選哪一種呢？我的原則就是是簡單好用，寫的代碼少，對于一個小白來說，性能、效率什么的，統統被我 pass 了。于是開始接觸 urllib、美麗湯（BeautifulSoup），因為聽別人說很簡單。

我上手的第一個案例是爬取豆瓣的電影，無數人都推薦把豆瓣作為新手上路的實例，因為頁面簡單且反爬蟲不嚴。照著一些爬取豆瓣電影的入門級例子開始看，從這些例子里面，了解了一點點爬蟲的基本原理：下載頁面、解析頁面、定位并抽取數據。

當然并沒有去系統看 urllib 和 BeautifulSoup 了，我需要把眼前實例中的問題解決，比如下載、解析頁面，基本都是固定的語句，直接用就行，我就先不去學習原理了。

用 urllib 下載和解析頁面的固定句式

當然 BeautifulSoup 中的基本方法是不能忽略的，但也無非是 find、get_text() 之類，信息量很小。就這樣，通過別人的思路和自己查找美麗湯的用法，完成了豆瓣電影的基本信息爬取。

用 BeautifulSoup 爬取豆瓣電影詳情

- -爬蟲漸入佳境

有了一些套路和形式，就會有目標，可以接著往下學了。還是豆瓣，自己去摸索爬取更多的信息，爬取多部電影，多個頁面。這個時候就發現基礎不足了，比如爬取多個元素、翻頁、處理多種情況等涉及的語句控制，又比如提取內容時涉及到的字符串、列表、字典的處理，還遠遠不夠。

再回去補充 Python 的基礎知識，就很有針對性，而且能馬上能用于解決問題，也就理解得更深刻。這樣直到把豆瓣的TOP250圖書和電影爬下來，基本算是了解了一個爬蟲的基本過程了。

BeautifulSoup 還算不錯，但需要花一些時間去了解一些網頁的基本知識，否則一些元素的定位和選取還是會頭疼。

后來認識到 xpath 之后相見恨晚，這才是入門必備利器啊，直接Chrome復制就可以了，指哪打哪。即便是要自己寫 xpath，以w3school上幾頁的 xpath 教程，一個小時也可以搞定了。requests 貌似也比 urllib 更好用，但摸索總歸是試錯的過程，試錯成本就是時間。

requests+xpath 爬取豆瓣TOP250圖書信息

- -跟反爬蟲杠上了

通過 requests+xpath，我可以去爬取很多網站網站了，后來自己練習了小豬的租房信息和當當的圖書數據。爬拉勾的時候就發現問題了，首先是自己的請求根本不會返回信息，原來要將自己的爬蟲偽裝成瀏覽器，終于知道別人代碼中那一坨 headers 信息是干啥的了

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的为什么用python写爬虫_零基础，是怎么开始写Python爬虫的的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。