配置crontab定时多任务爬虫

1、crontab 学习文档：https://www.cnblogs.com/clphp/p/6801608.html

2、编辑命令：crontab -e

     30 1 * * * cd /data/XXX/XXX/commands && /bin/sh running.sh >/dev/null &

     #每天一点半，定时执行爬虫

3、running.sh 的内容：nohup scrapy crawlall > /dev/null 2>&1 &

4、创建目录commands的crawlall.py

5、settings.py 最后加上：COMMANDS_MODULE = 'XXX.commands'