1、创建爬虫工程

scrapy startproject stockproject001

2、创建爬虫项目

cd stockproject001

scrapy genspider stockinfo quote.eastmoney.com

Python Scrapy初步使用-LMLPHP

3、定义数据项或数据字段

打开 items.py,输入:

Python Scrapy初步使用-LMLPHP

4、定义爬取规则

打开stockinfo.py,输入:

Python Scrapy初步使用-LMLPHP

5、定义数据处理管道

打开pipelines.py,输入:

Python Scrapy初步使用-LMLPHP

6、启用爬虫项目

打开settings.py,修改:

Python Scrapy初步使用-LMLPHP

7、执行爬虫

scrapy crawl stockinfo --nolog

--nolog不看日志

Python Scrapy初步使用-LMLPHP

.....................

05-03 23:18