scrapy框架常用命令

1.新建一个scrapy项目

scrapy startproject mySpider

2.新建一个爬虫文件

# 使用crawl 模板创建,适用于整站爬取
scrapy genspider -t crawl qsbk 'qiushibaike.com'

# 使用basic模板创建,适用于循环爬取有规律的网址
scrapy genspider -t basic im "imooc.com"

3.启动爬虫

# 无日志启动
scrapy crawl jdsc --nolog

# 有日志启动
scrapy crawl jdsc --nolog