文章目錄

• 0. 思路
• 一. 虛擬機Ubuntu0中安裝Redis
• 二. 虛擬機Ubuntu1中安裝Redis
• 三. Windows服務器上安裝Redis
• 四. 安裝cmder
• 五. 安裝RedisDesktopManager
• 六. 修改Windows中的配置文件redis.windows.conf
• 七. Ubuntu連接Windows上 的Redis服務器
• -------------------------------------------------------------------------
• 八.Windows上創建虛擬環境并安裝Scrapy
• 九.Ubuntu上創建虛擬環境并安裝Scrapy

0. 思路

準備三臺服務器，分別是Windows、Ubuntu1、Ubuntu2；

其中Windows服務器作為分布式爬蟲的Redis服務器；

Ubuntu1和Ubuntu2作為分布式爬蟲的爬蟲服務器。

一. 虛擬機Ubuntu0中安裝Redis

安裝：sudo apt-get install redis-server

卸載：sudo apt-get purge --auto-remove redis-server

啟動：sudo service redis-server start

查看：ps aux|grep redis

停止：sudo service redis-server stop

二. 虛擬機Ubuntu1中安裝Redis

同上。

三. Windows服務器上安裝Redis

1.首先安裝Redis，安裝教程：https://www.runoob.com/redis/redis-install.html

2.啟動Redis服務：（切換至Redis安裝目錄中）
redis-server.exe redis.windows.conf

若報錯，按步驟執行以下命令：
redis-cli.exe
shutdown
exit
redis-server.exe redis.windows.conf

3.啟動Redis客戶端
redis-cli.exe

輸入測試數據：
set username fanxindong

get username

四. 安裝cmder

安裝教程及配置：https://www.jianshu.com/p/5b7c985240a7

五. 安裝RedisDesktopManager

安裝教程及配置：https://www.jb51.net/softs/669908.html

安裝后連接Redis，查看測試數據。

六. 修改Windows中的配置文件redis.windows.conf

打開Windows中Redis的配置文件redis.windows.conf

將bind后的ip地址更改為windows 的ip地址；

這里為了爬蟲服務器連接方便，更改為0.0.0.0

七. Ubuntu連接Windows上 的Redis服務器

在Ubuntu服務器輸入以下指令：

redis-cli -h 172.20.20.2 -p 6379

其中172.20.20.2為windows的服務器ip地址。

查看測試數據：

-------------------------------------------------------------------------

八.Windows上創建虛擬環境并安裝Scrapy

首先安裝 virtualenv，打開命令行工具，輸入下面的命令即可安裝 virtualenv：

pip install virtualenv

安裝成功后就可以開始創建虛擬環境，指定一個你喜歡的目錄，virtualenv 會把這個新的虛擬環境裝到你指定目錄下。例如我把它裝到 C:\Users\fxd.virtualenvs\ 目錄下，并將虛擬環境命名為 sipder_env（也可以取任何你喜歡的名字）。在命令欄運行如下命令：

virtualenv C:\Users\fxd\.virtualenvs\sipder_env

虛擬環境已經創建好了，我們需要激活這個環境，進入到剛才創建的虛擬環境的根目錄，運行 Scripts 目錄下的 activate 程序激活它：

cd C:\Users\fxd\.virtualenvs\sipder_env
.\Scripts\activate

可以看到命令提示符前面多了 (sipder_env)，說明我們已經成功激活了虛擬環境，接下來就可以開始安裝 Scrapy了。

使用豆瓣的鏡像源安裝：

pip install Scrapy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

Scrapy中文文檔：https://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html

九.Ubuntu上創建虛擬環境并安裝Scrapy

安裝virtualenv：

pip install virtualenv

創建虛擬環境并自動進進入：

mkvirtualenv -p /usr/bin/python3 spider_env

退出虛擬環境：

deactivate

再次進入虛擬環境的激活指令：

source ./bin/activate

接下來安裝Scrapy，首先安裝依賴：

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

安裝scrapy：

pip install Scrapy

總結

以上是生活随笔為你收集整理的网络爬虫--19.【Scrapy-Redis实战】分布式爬虫爬取房天下--环境准备的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。