Scrapy 知识总结
1、安装
pip install wheel
pip install https://download.lfd.uci.edu/pythonlibs/q5gtlas7/Twisted-19.2.0-cp37-cp37m-win_amd64.whl
pip install scrapy ps: 因为twisted是whl包，所以需要先安装whl包对应的工具 wheel；第二步安装 Twisted方法，在https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 页面找到对应自己操作系统位数和python版本的whl文件
2、创建 Scrapy 项目
scrapy startproject douban
创建好的项目目录如下
3、在 douban - douban - spiders 目录中创建爬虫文件 top250.py
import scrapy
import bs4
from ..items import DoubanItem class DoubanSpider(scrapy.Spider):
name = 'douban'
allowed_domains = ['https://book.douban.com']
start_urls = []
for x in range(3):
url = 'https://book.douban.com/top250?start=' + str(x * 25)
start_urls.append(url) def parse(self,response):
bs = bs4.BeautifulSoup(response.text,'html.parser')
datas = bs.find_all('tr',class_='item')
for data in datas:
item = DoubanItem()
item['title'] = data.find_all('a')[1]['title']
item['publish'] = data.find('p',class_='pl').text
item['score'] = data.find('span',class_='rating_nums').text
#print(item['title'])
yield item
4、编辑 douban - douban - items.py
import scrapy class DoubanItem(scrapy.Item):
title = scrapy.Field()
publish = scrapy.Field()
score = scrapy.Field()
5、编辑 douban - douban - settings.py
BOT_NAME = 'douban'
SPIDER_MODULES = ['douban.spiders']
NEWSPIDER_MODULE = 'douban.spiders'
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
ROBOTSTXT_OBEY = False
6、在 douban 目录下执行 scrapy crawl douban ，或者在豆瓣目录下创建main.py，然后执行 main.py
from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行。
cmdline.execute(['scrapy','crawl','douban'])
#用execute（）方法，输入运行scrapy的命令。
Scrapy 保存结果到csv ， 只需在 settings.py 文件中添加下面三行
FEED_URI='./storage/data/%(name)s.csv'
FEED_FORMAT='CSV'
FEED_EXPORT_ENCODING='utf-8-sig'
保存到与 settings.py 同目录下的storage目录下的data目录下，文件名是该项目名字.csv
Scrapy 保存结果到excel， 只需在 settings.py 文件中添加下面三行
ITEM_PIPELINES = {
'jobuitest.pipelines.JobuitestPipeline': 300,
}然后编辑 pipelines.py
import openpyxl class JobuiPipeline(object):
#定义一个JobuiPipeline类，负责处理item
def __init__(self):
#初始化函数 当类实例化时这个方法会自启动
self.wb =openpyxl.Workbook()
#创建工作薄
self.ws = self.wb.active
#定位活动表
self.ws.append(['公司', '职位', '地址', '招聘信息'])
#用append函数往表格添加表头 def process_item(self, item, spider):
#process_item是默认的处理item的方法，就像parse是默认处理response的方法
line = [item['company'], item['position'], item['address'], item['detail']]
#把公司名称、职位名称、工作地点和招聘要求都写成列表的形式，赋值给line
self.ws.append(line)
#用append函数把公司名称、职位名称、工作地点和招聘要求的数据都添加进表格
return item
#将item丢回给引擎，如果后面还有这个item需要经过的itempipeline，引擎会自己调度 def close_spider(self, spider):
#close_spider是当爬虫结束运行时，这个方法就会执行
self.wb.save('./jobui.xlsx')
#保存文件
self.wb.close()
#关闭文件
Scrapy 设置 下载延时 编辑settings.py 文件 ，默认没有延时，单位秒
DOWNLOAD_DELAY = 3
Scrapy 未解之谜
1、自带解析器怎么用
2、如何带参数请求数据
3、如何写入cookies
4、如何发送邮件
5、如何与 selenium联动
6、如何完成超厉害的分布式爬虫
Scrapy 核心代码，callback
#导入模块：
import scrapy
import bs4
from ..items import JobuiItem class JobuiSpider(scrapy.Spider):
name = 'jobs'
allowed_domains = ['www.jobui.com']
start_urls = ['https://www.jobui.com/rank/company/'] #提取公司id标识和构造公司招聘信息的网址：
def parse(self, response):
#parse是默认处理response的方法
bs = bs4.BeautifulSoup(response.text, 'html.parser')
ul_list = bs.find_all('ul',class_="textList flsty cfix")
for ul in ul_list:
a_list = ul.find_all('a')
for a in a_list:
company_id = a['href']
url = 'https://www.jobui.com{id}jobs'
real_url = url.format(id=company_id)
yield scrapy.Request(real_url, callback=self.parse_job)
#用yield语句把构造好的request对象传递给引擎。用scrapy.Request构造request对象。callback参数设置调用parsejob方法。 def parse_job(self, response):
#定义新的处理response的方法parse_job（方法的名字可以自己起）
bs = bs4.BeautifulSoup(response.text, 'html.parser')
#用BeautifulSoup解析response(公司招聘信息的网页源代码)
company = bs.find(id="companyH1").text
#用fin方法提取出公司名称
datas = bs.find_all('li',class_="company-job-list")
#用find_all提取<li class_="company-job-list">标签，里面含有招聘信息的数据
for data in datas:
#遍历datas
item = JobuiItem()
#实例化JobuiItem这个类
item['company'] = company
#把公司名称放回JobuiItem类的company属性里
item['position']=data.find('h3').find('a').text
#提取出职位名称，并把这个数据放回JobuiItem类的position属性里
item['address'] = data.find('span',class_="col80").text
#提取出工作地点，并把这个数据放回JobuiItem类的address属性里
item['detail'] = data.find('span',class_="col150").text
#提取出招聘要求，并把这个数据放回JobuiItem类的detail属性里
yield item
#用yield语句把item传递给引擎