上個(gè)博客最后面寫(xiě)到了，pipeline的簡(jiǎn)單使用以及參數(shù)的配置含義：https://blog.csdn.net/wei18791957243/article/details/86157707

?

1.從pipeline的字典形式可以看出來(lái)，pipeline可以有多個(gè)，而且確實(shí)pipeline能夠定義多個(gè)

? ??

2. 有多個(gè)爬蟲(chóng)，pipeline是怎樣處理的呢？

? ??首先創(chuàng)建三個(gè)爬蟲(chóng) ： 例如： 在一個(gè)scrapy的項(xiàng)目里面爬取三個(gè)網(wǎng)站： 今日頭條、新浪、豆瓣

? ? ?在cmd里面分別創(chuàng)建三個(gè)爬蟲(chóng)：

? ??

? 然后打開(kāi)pycharm查看：

? ?? ? ? ? ? ? ? ? 就會(huì)看見(jiàn)有三個(gè)爬蟲(chóng)

（1）使用pipeline處理的第一個(gè)方式可以給item加上鍵和響應(yīng)的值：

? ? ? ?分別再相對(duì)的爬蟲(chóng)py里面，的parse方法里面加上相應(yīng)的鍵和值

"""對(duì)應(yīng)的toutiao.py""" def parse(self, response):item = {}item["come_from"] = "toutiao"pass"""對(duì)應(yīng)的sina.py""" def parse(self, response):item = {}item["come_from"] = "sina"pass"""對(duì)應(yīng)的douban.py""" def parse(self, response):item = {}item["come_from"] = "douban"pass

? ? ? ?然后pipelines.py? 在?process_item方法里面可以對(duì)值進(jìn)行相應(yīng)的操作，分別進(jìn)行判斷

class PipelinetestPipeline(object):def process_item(self, item, spider):if item["come_from"] == "toutiao":passelif item["come_from"] == "sina":passelse:passreturn item 也可以寫(xiě)多個(gè)類的形式進(jìn)行： class PipelinetestPipeline(object):def process_item(self, item, spider):if item["come_from"] == "toutiao":passreturn itemclass PipelinetestPipeline2(object):def process_item(self, item, spider):if item["come_from"] == "sina":passreturn itemclass PipelinetestPipeline3(object):def process_item(self, item, spider):if item["come_from"] == "douban":pass

（2） 除了給item加上鍵和值，還有第二方式，??spider.name 來(lái)進(jìn)行判斷，就不用給item加鍵和值

class PipelinetestPipeline(object):def process_item(self, item, spider):if spider.name == "toutiao":passelif spider.name == "sina":passelse:passreturn item

? 每個(gè)爬蟲(chóng)的類里面都有對(duì)應(yīng)的name屬性，也就是對(duì)應(yīng)的每個(gè)爬蟲(chóng)的名字，所以可以利用這個(gè)屬性來(lái)進(jìn)行判斷

? 然后在pipeline里面進(jìn)行相應(yīng)的處理

3.? 對(duì)有多個(gè)爬蟲(chóng)時(shí)，pipeline通過(guò)上面的中方式進(jìn)行處理，

? ?一種方式是給item加上鍵和值，一種方式是里面name屬性

? 分別對(duì)值或者爬蟲(chóng)的名字進(jìn)行判斷，進(jìn)而對(duì)數(shù)據(jù)進(jìn)行處理

總結(jié)

以上是生活随笔為你收集整理的Scrapy框架的学习(3.pipeline介绍以及多个爬虫的pipeline的使用)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。