Scrapy002-框架安裝

@(Spider)[POSTS]

這里我使用的是Python3.x，

1. Ubuntu上安裝

在安裝Scrapy之前，首先需要確定環(huán)境和版本：

• Ubuntu16.04
• Python3.5
• Scrapy1.2

依賴安裝：

sudo apt-get install build-essential sudo apt-get install python3-dev sudo apt-get install libxml2-de; sudo apt-get install libxslt1-dev sudo apt-get install python3-setuptools

lxml 安裝：

sudo python3 -m pip install lxml

Scrapy安裝：

sudo python3 -m pip install Scrapy

安裝OpenSSL：

sudo python3 -m pip install pyopenssl

之前安裝了python-dev和python-setuptools也要重新安裝python3版本的這兩個軟件，即運行：

sudo apt-get install python3-dev sudo apt-get install python3-setuptools

安裝過程很簡單，若出現(xiàn)其他問題，根據(jù)實際情況解決即可。

2. Windows10上安裝

在安裝之前我們需要進(jìn)行準(zhǔn)備工作：

• 安裝Python3.5

官網(wǎng)下載就好，https://www.python.org/downloads/release/python-352/

• 下載并更新到Visual Studio 2015
  官方：Python3.5 對應(yīng)的版本
  下載鏈接：https://www.visualstudio.com/zh-hans/downloads/

• 更新pip工具

python -m pip install -upgrade pip

由于Windows對Twisted框架支持還不是很完善，并不能通過pip來安裝，我們可以通過下列方式：

1. 安裝Twisted和lxml

到這個網(wǎng)址來下載已經(jīng)做好的包：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

Ctrl+f查詢lxml即可。

注意:cp35表示Python3.5，win32指的是Python的位數(shù)而不是Windows的系統(tǒng)位數(shù)

在cmd中使用pip工具，安裝下載的wheel包即可。

pip install d:\Twisted-16.4.1-cp35-cp35m-win32.whlpip install d:\lxml-3.6.4-cp35-cp35m-win32.whl

2. 安裝Scrapy

pip install scrapy

3.依賴問題

安裝完成后，啟動時關(guān)于錯誤ImportError

ImportError: cannot import name '_win32stdio' ImportError: No module named 'win32api'

解決：

pip install win32api

若仍未解決，請到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下載對應(yīng)版本安裝即可解決。

轉(zhuǎn)載于:https://www.cnblogs.com/liu-yao/p/6166490.html

總結(jié)

以上是生活随笔為你收集整理的Scrapy002-框架安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。