From：https://brucedone.com/archives/771

8個最高效的 Python 爬蟲框架

• 1. Scrapy。Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。
• 2. PySpider。pyspider 是一個用python實現的功能強大的網絡爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，后端使用常用的數據庫進行爬取結果的存儲，還能定時設置任務與任務優先級等。
• 3.Crawley。Crawley可以高速爬取對應網站的內容，支持關系和非關系數據庫，數據可以導出為JSON、XML等。
• 4.Portia。Portia 是一個開源可視化爬蟲工具，可讓您在不需要任何編程知識的情況下爬取網站！簡單地注釋您感興趣的頁面，Portia 將創建一個蜘蛛來從類似的頁面提取數據。
• 5.Newspaper。Newspaper 可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。
• 6.Beautiful Soup。Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。
• 7.Grab。Grab是一個用于構建Web刮板的Python框架。借助Grab，您可以構建各種復雜的網頁抓取工具，從簡單的5行腳本到處理數百萬個網頁的復雜異步網站抓取工具。Grab提供一個API用于執行網絡請求和處理接收到的內容，例如與HTML文檔的DOM樹進行交互。
• 8.Cola。Cola 是一個分布式的爬蟲框架，對于用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多臺機器上，整個過程對用戶是透明的。

教程導航

• (1)分布式下的爬蟲Scrapy應該如何做-安裝
• (2)分布式下的爬蟲Scrapy應該如何做-關于對Scrapy的反思和核心對象的介紹
• (3)分布式下的爬蟲Scrapy應該如何做-遞歸爬取方式，數據輸出方式以及數據庫鏈接
• (4)分布式下的爬蟲Scrapy應該如何做-規則自動爬取及命令行下傳參
• (5)分布式下的爬蟲Scrapy應該如何做-關于爬蟲的調度機制與調度架構的構想
• (5.1)分布式下的爬蟲Scrapy應該如何做-windows下的redis的安裝與配置
• (6)分布式下的爬蟲Scrapy應該如何做-關于打斷點Debug的那些事兒
• (7)分布式下的爬蟲Scrapy應該如何做-關于偽裝和防Ban的那點事兒
• (8)分布式下的爬蟲Scrapy應該如何做-圖片下載(源碼放送)
• (9)分布式下的爬蟲Scrapy應該如何做-關于ajax抓取的處理(一)
• (10)分布式下的爬蟲Scrapy應該如何做-關于動態內容js或者ajax處理(2)
• (11)分布式下的爬蟲Scrapy應該如何做-關于js渲染環境splash的一些使用技巧總結
• (12)分布式下的爬蟲Scrapy應該如何做-分布式的淺析
• (13)分布式下的爬蟲Scrapy應該如何做-另一種分布式架構
• [scrapyd]爬蟲應該怎么部署到ubuntu上
• 使用scrapy有用的一些細節點

爬蟲周邊

• [調度]可視化的調度架構-Dagobah
• 基于scrapy可見可得的爬蟲工具arachnado
• [深度學習]Tensorflow破解驗證碼
• [深度學習] 使用Darknet YOLO 模型破解中文驗證碼點擊識別
• [selenium-grid]多機分布式環境下的selenium集群
• [重大更新]可視化調度器tiktok 問世了
• [渲染利器]Google官方出品的js渲染環境
• 關于爬蟲的架構，經驗，以及分享

可視化抓取研究

• [可視化抓取]portia2.0嘗鮮體驗以及自動化暢想[1]
• [可視化抓取]portia2.0嘗鮮體驗以及自動化暢想-數據輸出以及原理分析
• [可視化抓取]portia2.0嘗鮮體驗以及自動化暢想-數據存儲入mongodb

源碼分析

• [scrapy]scrapy源碼分析–數據是如何處理的
• [scrapy]scrapy源碼分析–中間件是如何加載的
• [scrapy]scrapy源碼分析–信號事件是如何加載以及自定義信號
• [scrapy] images pipeline分析– 下載圖片如何上傳到阿里云服務

經驗分享

• 同一項目不同的spider啟用不同的配置

demo源碼

• cnbeta抓取
• 豆瓣圖片下載
• google play 應用數量
• cnbeta抓取數據存入mysql?

錯誤處理

• scrapy下的常見錯誤處理

總結

以上是生活随笔為你收集整理的Scrapy 爬虫教程导航的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。