Scrapy安装

1,Pip install wheel

2,pip install 复制路径+文件名Twisted-18.7.0-cp36-cp36m-win_amd64.whl

3,Pip install scrapy

https://germey.gitbooks.io/python3webspider/content/1.8.2-Scrapy%E7%9A%84%E5%AE%89%E8%A3%85.html

4 出win7api的加   pip install 复制路径+文件名pywin32-223.1-cp36-cp36m-win_amd64.whl

创建项目

1,scrapy startproject scrapy_project

创建spider,

2,cd scrapy_project

3,scrapy genspider bole jobbole.com

#bole jobbole.com 一个是文件名 一个是网站名

创立一个文件夹 main  里面

from scrapy.cmdline import execute
execute('scrapy crawl bole'.split())

#bole是文件名 

setting 里面的Trun改成False

通过xpath获取内容, xpath返回的元素内容是selector:

zan = response.xpath('//h10[@id="89252votetotal"]/text()').extract_first()

关于scrapy-LMLPHP

05-08 15:14