剛開始執(zhí)行scrapy crawl zentaos可以完成掃描

但是通過linux的crontab任務(wù)，只執(zhí)行了連接mongodb的操作，并創(chuàng)建了索引

也就是說scrapy crawl zentaos部分的任務(wù)沒有執(zhí)行

什么原因呢？

加上

export PATH=$PATH:/usr/local/bin

就可以解決問題

mongo會(huì)自動(dòng)創(chuàng)建索引

轉(zhuǎn)載于:https://www.cnblogs.com/qmfsun/p/6290361.html

總結(jié)

以上是生活随笔為你收集整理的linux下执行scrapy的爬虫定时任务的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。