說起爬蟲很多人立刻就會想起bs4、xpath、requests之類的

雖然說爬取普通網(wǎng)站用上邊的組合足夠了，但是如果不進(jìn)階永遠(yuǎn)不會知道該領(lǐng)域的廣闊。

下邊就介紹一下Scrapy爬蟲框架的安裝。

之后慢慢學(xué)習(xí)之后介紹Scrapy框架的使用。

首先給大家一個忠告，不要去妄想使用pip install或者easy_install安裝上Scrapy。

因?yàn)镾crapy需要的依賴包和依賴編譯環(huán)境太多了，網(wǎng)上的說什么用pip安裝都不太行，因?yàn)槲胰嚵艘槐?#xff0c;最后在cmd輸入scrapy startproject Tap的時候發(fā)現(xiàn)Scrapy已經(jīng)安裝上了！！！這里我先不解釋，請大家繼續(xù)往下看，我先給大家介紹一下失敗經(jīng)歷，目的是為了讓大家知道pip安裝的難度。如果有大神已經(jīng)通過pip安裝上可以略過此處。

一.首先介紹一下通過pip安裝所需要的依賴

1.Visual C++ Build Tools

這個下載下來得3G

如果執(zhí)意想pip安裝可以私信向我要安裝包，這個安裝包在官網(wǎng)找不到。

2.lxml

這個是xpath的必備庫，這個應(yīng)該有，不管用不用框架。

3.pywin32

pip即可安裝

4.Twisted

因?yàn)椴煌姹镜腟crapy對應(yīng)不同版本的Twisted，需要去下載Whl文件手動安裝(最佳方法)。

安裝完上邊的依賴庫之后pip install Scrapy仍然會出很多問題，而且官方文檔明確支出，不建議使用pip安裝Scrapy。

二.下面開始介紹anaconda安裝Scrapy

1.打開Anaconda Navigator

2.搜索找到Scrapy

安裝即可，安裝完畢關(guān)掉就可以。

3.生成項(xiàng)目

4.目錄結(jié)構(gòu)

可以看到Scrapy Project的生成結(jié)構(gòu)

5.pycharm或者其他打開該文件進(jìn)行編輯爬蟲即可！

最上邊提到我在沒pip安裝的情況下使用Scrapy能夠創(chuàng)建新項(xiàng)目是因?yàn)槲抑霸贏naconda中安裝了Scrapy。

另外還是祝大家學(xué)習(xí)愉快！

總結(jié)

以上是生活随笔為你收集整理的anaconda安装scrapy_Scrapy框架的安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。