url_list = ["http://www.icoat.cc/news/list_18_3.html", "http://www.icoat.cc/news/list_18.html",
"http://www.icoat.cc/news/list_18_2.html",
]
for ls in url_list:
　　yield scrapy.Request(url=ls, headers=header, callback=self.parseList, meta={"hd": header})

采集的過程中發(fā)現(xiàn)丟失了很多url,而且url_list中只采集了前兩個(gè)，不知道為什么，google后發(fā)現(xiàn)加上dont_filter后可以解決丟失url的問題

yield scrapy.Request(url=ls, headers=header, callback=self.parseList, meta={"hd": header}, dont_filter=True)

轉(zhuǎn)載于:https://www.cnblogs.com/fly-kaka/p/10482355.html

總結(jié)

以上是生活随笔為你收集整理的scrapy 采集网页出现丢失url的问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。