一、創建虛擬環境

virtualenv -p python版本的路徑.exe 虛擬環境名稱???? #新建虛擬環境

eg：virtualenv -p C:\Users\fanlala\AppData\Local\Programs\Python\Python35-32\python.exe article_spider?? #使用python3.5新建名為article_spider的虛擬環境。

?新建完成虛擬環境后，會自動進入虛擬環境。

在虛擬環境中安裝需要的庫文件：

如：pip install -i https://pypi.douban.com/simple/ scrapy #使用豆瓣源鏡像可以加速安裝，對于一些較新的庫不適用

二、新建工程目錄

在CMD中進入到存放工程的目錄下后，

workon 虛擬環境名稱 #進入到虛擬環境中

scrapy startproject ArticleSpider #新建名為ArticleSpider的項目

?生成一個爬蟲模板

前提條件：在新建的工程目錄路徑下，并且工作與創建的虛擬環境下

scrapy genspider jobbole blog.jobbole.com? #創建了一個名稱為jobbole.py爬蟲模板文件，爬蟲的起始地址為blog.jobbole.com

三、pycharm 調試scrapy 執行流程

新建一個main.py文件：

from scrapy.cmdline import execute

import sys

inport os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(['scrapy','crawl','jobbole']) #啟動scrapy

在cmd中啟動scrapy 的命令為：scrapy crawl jobbole #jobbole為爬蟲模板.py文件名稱

?

#encoding=utf-8

from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__))) #工程目錄，設置了工程目錄啟動scrapy才能找到項目
execute(['scrapy','crawl','jobbole'])

pycharm中調試運行比較慢，為了加快調試速度，可以在CMD中快速調試 ：

進入到工作目錄下，并處于需要的虛擬環境中：

輸入：scrapy shell 調試的網址

然后進入到調試環境進行快速調試。

?

轉載于:https://www.cnblogs.com/buzhidaojiaoshenmoleya/p/7309671.html

總結

以上是生活随笔為你收集整理的创建虚拟环境和新建工程目录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。