scrapy爬取豆瓣书单存入MongoDB数据库

一、安装scrapy库

爬取的目标url是https://www.douban.com/doulist/45298673/，完整代码放在最后，使用命令pip install scrapy安装scrapy库。

二、创建scrapy项目

使用命令scrapy startproject doubanshudan来创建scrapy项目，再通过命令cd doubanshudan进入项目目录。

三、创建爬虫

使用命令scrapy genspider douban douban.com创建名为douban的爬虫，起始域名是douban.com。

四、修改settings，设置UA，开启管道

打开settings.py，将ROBOTSTXT_OBEY改为False，LOG_LEVEL设置为ERROR，将User-Agent改为自己的User-Agen，如下图所示：

在settings.py文件中取消管道代码的注释，如下图所示：