爬蟲真是一件有意思的事兒啊，之前寫過爬蟲，用的是urllib2、BeautifulSoup實(shí)現(xiàn)簡單爬蟲，scrapy也有實(shí)現(xiàn)過。最近想更好的學(xué)習(xí)爬蟲，那么就盡可能的做記錄吧。這篇博客就我今天的一個(gè)學(xué)習(xí)過程寫寫吧。

一 正則表達(dá)式

正則表達(dá)式是一個(gè)很強(qiáng)大的工具了，眾多的語法規(guī)則，我在爬蟲中常用的有：

.

匹配任意字符（換行符除外）

*

匹配前一個(gè)字符0或無限次

?

匹配前一個(gè)字符0或1次

.*

貪心算法

.*?

非貪心算法

（.*?)

將匹配到的括號(hào)中的結(jié)果輸出

\d

匹配數(shù)字

re.S

使得.可以匹配換行符

常用的方法有：find_all()，search()，sub()

對(duì)以上語法方法做以練習(xí)，代碼見：https://github.com/Ben0825/Crawler/blob/master/re_test.py

二 urllib和urllib2

urllib和urllib2庫是學(xué)習(xí)Python爬蟲最基本的庫，利用該庫，我們可以得到網(wǎng)頁的內(nèi)容，同時(shí)，可以結(jié)合正則對(duì)這些內(nèi)容提取分析，得到真正想要的結(jié)果。

在此將urllib和urllib2結(jié)合正則爬取了糗事百科中的作者點(diǎn)贊數(shù)內(nèi)容。

代碼見：https://github.com/Ben0825/Crawler/blob/master/qiubai_test.py

三 BeautifulSoup

BeautifulSoup是Python的一個(gè)庫，最主要的功能是從網(wǎng)頁抓取數(shù)據(jù)，官方介紹是這樣的：

Beautiful Soup 提供一些簡單的、python 式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個(gè)工具箱,通過解析文檔為用戶提供需要抓取的數(shù)據(jù),因?yàn)楹唵?所以不需要多少代碼就可以寫出一個(gè)完整的應(yīng)用程序。

Beautiful Soup 自動(dòng)將輸入文檔轉(zhuǎn)換為 Unicode 編碼,輸出文檔轉(zhuǎn)換為 utf-8 編碼。你不需要考慮編碼方式,除非文檔沒有指定一個(gè)編碼方式,這時(shí),Beautiful Soup 就不能自動(dòng)識(shí)別編碼方式了。然后,你僅僅需要說明一下原始編碼方式就可以了。

Beautiful Soup 已成為和 lxml、html6lib 一樣出色的 python 解釋器,為用戶靈活地提供不同的解析策略或強(qiáng)勁的速度。

首先：爬取百度百科Python詞條下相關(guān)的100個(gè)頁面，爬取的頁面值自己設(shè)定。

代碼詳見：https://github.com/Ben0825/Crawler/tree/master/python_baike_Spider

代碼運(yùn)行：

鞏固篇，依據(jù)豆瓣中圖書的標(biāo)簽得到一個(gè)書單，同樣使用BeautifulSoup。

代碼詳見：https://github.com/Ben0825/Crawler/blob/master/doubanTag.py

運(yùn)行結(jié)果：

以上就是今天學(xué)習(xí)的一些內(nèi)容，爬蟲真的很有意思啊，明天繼續(xù)學(xué)scrapy!

總結(jié)

以上是生活随笔為你收集整理的python 百度百科 爬虫_python简单爬虫的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。