Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中。

其最初是為了 頁面抓取 (更確切來說, 網(wǎng)絡(luò)抓取 )所設(shè)計(jì)的， 也可以應(yīng)用在獲取API所返回的數(shù)據(jù)(例如 Amazon Associates Web Services ) 或者通用的網(wǎng)絡(luò)爬蟲。

詳細(xì)介紹見初窺Scrapy

下載Scrapy-2.4.1-py2.py3-none-any.whl (239.7 kB)

下載完把尾綴“whl”修改為“zip”，解壓后扔到python安裝目錄“Lib/site-packages”文件夾，最后cmd運(yùn)行“pip install scrapy"安裝完成。

總結(jié)

以上是生活随笔為你收集整理的爬虫框架Scrapy（西瓜皮）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。