Python3 爬虫学习笔记 C17【爬虫框架 pyspider — 基本使用】
Python3 爬蟲學習筆記第十七章 —— 【爬蟲框架 pyspider — 基本使用】
文章目錄
- 【17.1】初識 pyspider
- 【17.2】使用 pyspider
- 【17.2.1】主界面
- 【17.2.2】項目界面
- 【17.3】使用 pyspider 爬取去哪兒網
- 【17.3.1】爬取首頁
- 【17.3.2】信息匹配
- 【17.3.3】抓取下一頁數據
- 【17.3.4】抓取JS渲染數據
- 【17.3.5】抓取所有數據
- 【17.3.6】啟動爬蟲項目
【17.1】初識 pyspider
pyspider 是由國人 Binux 編寫的一個 Python 爬蟲框架
- GitHub：https://github.com/binux/pyspider
- 官方文檔（英文）：http://docs.pyspider.org/
- 非官方文檔（中文）：http://book.crifan.com/books/python_spider_pyspider/website/
- 非官方文檔（中文）：https://www.cntofu.com/book/156/index.md
pyspider 特性：
- python 腳本控制，可以使用任何 html 解析包（內置 pyquery）
- WEB 界面編寫調試腳本，起停腳本，監控執行狀態，查看活動歷史，獲取結果產出
- 支持 MySQL、MongoDB、Redis、SQLite、Elasticsearch、PostgreSQL
- 對接了 PhantomJS，支持抓取 JavaScript 的頁面
- 組件可替換，支持單機和分布式部署，支持 Docker 部署
- 提供優先級控制、失敗重試、定時抓取等功能
Windows 系統安裝 pyspider：
使用命令 pip install pyspider 安裝，若報 PyCurl 相關錯誤，可訪問 https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl 下載對應 wheel 文件并使用命令 pip install whl文件名 安裝即可
如果要爬取 JavaScrip 渲染的頁面，還要下載 PhantomJS，并將 PhantomJS 的路徑配置到環境變量里，或者直接復制到 Python 安裝目錄的 Scripts 文件夾，需要用到數據庫儲存的話，同樣要安裝好相應的數據庫
準備就緒后，使用 pyspider all 命令可啟動 pyspider，瀏覽器打開：http://localhost:5000/ 可以看到 pyspider 的 WebUI 管理界面
【17.2】使用 pyspider
【17.2.1】主界面
當成功創建了一個爬蟲項目后，主界面如下所示：
-
Recent Active Tasks：查看最近活動的任務，會跳轉到一個頁面有列表顯示
-
Create：創建一個新的爬蟲項目
-
group：定義項目的分組，以方便管理，若 group 設置為 delete，則該項目將會在24小時之后刪除
-
project name：爬蟲項目名稱
-
status：項目狀態，各狀態如下：
TODO：一個爬蟲項目剛剛創建時的狀態，此狀態下可以編輯 Python 代碼
STOP：中止項目的運行
CHECKING：當一個運行中的項目被編輯時項目狀態會被自動設置成此狀態并中止運行
DEBUG：會運行爬蟲，顧名思義找 BUG，一般來說用于調試階段
RUNNING：運行爬蟲項目
PAUSED：當爬取過程中出現連續多次錯誤時，項目會自動設置為 PAUSE 狀態，并等待一定時間后繼續爬取，中途突然斷網也會自動設置為此狀態 -
rate/burst：當前的爬取速率，rate 代表 1 秒發出多少個請求，burst 相當于流量控制中的令牌桶算法的令牌數，rate 和 burst 設置的越大，爬取速率越快，速率的設定需要考慮本機性能和爬取過快被封的問題
-
avg time：任務平均時間
-
process：5m、1h、1d 分別指的是最近 5 分、1 小時、1 天內的請求情況，all 代表所有的請求情況，請求由不同顏色表示，藍色的代表等待被執行的請求，綠色的代表成功的請求，黃色的代表請求失敗后等待重試的請求，紅色的代表失敗次數過多而被忽略的請求
-
actions：對爬蟲項目的操作，各操作如下：
Run：立即執行任務，需要 status 為 RUNNING 或者 DEBUG 狀態；假如在配置的調度執行時間內已經執行過，再點 run 是無效的，需要刪除 task.db 里的數據才行
Active Tasks：查看當前爬蟲項目的活動任務
Results：查看項目運行結果
【17.2.2】項目界面
創建一個爬蟲項目，界面如下所示：
- 創建項目：點擊 Create 即可新建一個爬蟲項目
- Project Name：爬蟲項目名稱
- Start URL(s) ：爬蟲入口地址，選填，可在項目中更改
項目創建完成進入調試界面：
-
調試界面右邊：編寫代碼的區域
-
調試界面左邊：調試的區域，用于執行代碼，顯示輸出信息等用途
-
run：單步調試爬蟲程序，點擊就可運行當前任務
-
< > 箭頭：上一步、下一步，用于調試過程中切換到上一步驟或者下一步驟
-
save：保存當前代碼，當代碼變更后只有保存了再運行才能得到最新結果
-
enable css selector helper： CSS 選擇器輔助程序
-
web：頁面預覽
-
html：可以查看頁面源代碼
-
follows：表示爬取請求，點擊可查看所有的請求
在新建一個爬蟲項目的時候，pyspider 已經自動生成了如下代碼：
#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2019-09-17 21:18:13 # Project: 2from pyspider.libs.base_handler import *class Handler(BaseHandler):crawl_config = {}@every(minutes=24 * 60)def on_start(self):self.crawl('__START_URL__', callback=self.index_page)@config(age=10 * 24 * 60 * 60)def index_page(self, response):for each in response.doc('a[href^="http"]').items():self.crawl(each.attr.href, callback=self.detail_page)@config(priority=2)def detail_page(self, response):return {"url": response.url,"title": response.doc('title').text(),}-
class Handler()：pyspider 爬蟲的主類，可以在此處定義爬取、解析、存儲的邏輯。整個爬蟲的功能只需要一個 Handler 即可完成
-
crawl_config 屬性：項目的所有爬取配置將會統一定義到這里，如定義 headers、設置代理等，配置之后全局生效
-
on_start() 方法：爬取入口，初始的爬取請求會在這里產生，該方法通過調用 crawl() 方法即可新建一個爬取請求，第一個參數是爬取的 URL，另一個參數 callback 指定了這個頁面爬取成功后用哪個方法進行解析，默認指定為 index_page() 方法，即如果這個 URL 對應的頁面爬取成功了，那 Response 將交給 index_page() 方法解析
-
index_page() 方法：接收 Response 參數，Response 對接了 pyquery。直接調用 doc() 方法傳入相應的 CSS 選擇器，就可以像 pyquery 一樣解析此頁面，代碼中默認是 a[href^="http"]，即解析頁面的所有鏈接，然后將鏈接遍歷，再次調用了 crawl() 方法生成了新的爬取請求，同時再指定了 callback 為 detail_page，表示這些頁面爬取成功了就調用 detail_page() 方法解析。index_page() 實現了兩個功能，一是將爬取的結果進行解析，二是生成新的爬取請求
-
detail_page() 方法：同樣接收 Response 作為參數。detail_page() 抓取的就是詳情頁的信息，就不會生成新的請求，只對 Response 對象做解析，解析之后將結果以字典的形式返回。當然也可以進行后續處理，如將結果保存到數據庫等操作
PS：pyspider 默認的 web 預覽頁面窗口較小，可以找到 pyspider 文件夾有個 debug.min.css 文件（如：E:\Python\Lib\site-packages\pyspider\webui\static\debug.min.css），搜索 iframe，將原樣式：iframe{border-width:0;width:100%} 改為 iframe{border-width:0;width:100%;height:400px !important} 即可，清除瀏覽器緩存后就會生效！
【17.3】使用 pyspider 爬取去哪兒網
爬取地址：http://travel.qunar.com/travelbook/list.htm
爬取目標：去哪兒網旅游攻略，發帖作者、標題、正文等
【17.3.1】爬取首頁
創建一個名為 qunar 的爬蟲項目，Start URL 設置為 http://travel.qunar.com/travelbook/list.htm ，點擊 run 出現一個爬取請求
左邊調試區域出現以下代碼：
callback 為 on_start，表示此時執行了 on_start() 方法。在 on_start() 方法中，利用 crawl() 方法即可生成一個爬取請求，點擊 index_page 鏈接后面的箭頭會出現許多新的爬取請求，即首頁所包含的所有鏈接
此時左邊調試區域代碼變為：
callback 變為了 index_page，表示此時執行了 index_page() 方法。傳入 index_page() 方法的 response 參數為剛才生成的第一個爬取請求的 response 對象，然后調用 doc() 方法，傳入提取所有 a 節點的 CSS 選擇器，獲取 a 節點的屬性 href，實現了頁面所有鏈接的提取，隨后遍歷所有鏈接，調用 crawl() 方法，把每個鏈接構造成新的爬取請求，可以看到 follows 新生成了 229 個爬取請求。點擊 web 按鈕可以直接預覽當前頁面，點擊 html 按鈕可以查看此頁面源代碼
【17.3.2】信息匹配
代碼 for each in response.doc('a[href^="http"]').items(): 實現了對整個頁面鏈接的獲取，我們需要提取網頁的攻略的標題，內容等信息，那么直接替換 doc() 方法里的匹配語句即可，pyspider 提供了非常方便的 CSS 選擇器，點擊 enable css selector helper 按鈕后，選擇要匹配的信息并點擊，再點擊箭頭 add to editor 即可得到匹配語句
完成了 CSS 選擇器的替換，點擊 save 保存，再次點擊 run 重新執行 index_page() 方法，可以看到 follows 變為了 10 個，即抓取到了 10 篇攻略
【17.3.3】抓取下一頁數據
每一頁只有 10 篇攻略，想要爬取所有頁面的攻略，必須要得到下一頁的數據，優化 index_page() 方法：
@config(age=10 * 24 * 60 * 60)def index_page(self, response):for each in response.doc('li > .tit > a').items():self.crawl(each.attr.href, callback=self.detail_page)next = response.doc('.next').attr.hrefself.crawl(next, callback=self.index_page)匹配下一頁按鈕，獲取下一頁按鈕的 URL 并賦值給 next，將該 URL 傳給 crawl() 方法，指定回調函數為 index_page() 方法，這樣會再次調用 index_page() 方法，提取下一頁的攻略標題
【17.3.4】抓取JS渲染數據
隨便點擊一個獲取到的攻略，預覽該頁面，可以觀察到頭圖一直在加載中，切換到 html 查看源代碼頁面，可以觀察到沒有 img 節點，那么此處就是后期經過 JavaScript 渲染后才出現的
針對 JavaScript 渲染頁面，可以通過 PhantomJS 來實現，具體到 pyspider 中，只需要在 index_page() 的 crawl() 抓取方法中添加一個參數 fetch_type 即可：
保存之后再次運行即可看到正常頁面
【17.3.5】抓取所有數據
改寫 detail_page() 方法，同樣通過 CSS 選擇器提取 URL、標題、日期、作者、正文、圖片等信息：
@config(priority=2)def detail_page(self, response):return {'url': response.url,'title': response.doc('#booktitle').text(),'date': response.doc('.when .data').text(),'day': response.doc('.howlong .data').text(),'who': response.doc('.who .data').text(),'text': response.doc('#b_panel_schedule').text(),'image': response.doc('.cover_img').attr.src}【17.3.6】啟動爬蟲項目
該爬蟲項目完整代碼如下：
#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2019-09-18 09:48:29 # Project: qunarfrom pyspider.libs.base_handler import *class Handler(BaseHandler):crawl_config = {}@every(minutes=24 * 60)def on_start(self):self.crawl('http://travel.qunar.com/travelbook/list.htm', callback=self.index_page)@config(age=10 * 24 * 60 * 60)def index_page(self, response):for each in response.doc('li > .tit > a').items():self.crawl(each.attr.href, callback=self.detail_page, fetch_type='js')next = response.doc('.next').attr.hrefself.crawl(next, callback=self.index_page)@config(priority=2)def detail_page(self, response):return {'url': response.url,'title': response.doc('#booktitle').text(),'date': response.doc('.when .data').text(),'day': response.doc('.howlong .data').text(),'who': response.doc('.who .data').text(),'text': response.doc('#b_panel_schedule').text(),'image': response.doc('.cover_img').attr.src}保存代碼后，回到主界面，將項目 status 修改為 RUNNING ，點擊 actions 的 run 按鈕即可啟動爬蟲
點擊 Active Tasks，即可查看最近請求的詳細狀況：
點擊 Results，即可查看所有的爬取結果：
另外，右上角還可以選擇 JSON、CSV 格式
總結
以上是生活随笔為你收集整理的Python3 爬虫学习笔记 C17【爬虫框架 pyspider — 基本使用】的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： REVERSE-PRACTICE-BUU
- 下一篇： 【Python 必会技巧】对字典按照键（