架构介绍
Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy 是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞(又名异步)的代码来实现并发。整体架构大致如下
IO多路复用
# 引擎(EGINE)(大总管)
引擎负责控制系统所有组件之间的数据流,并在某些动作发生时触发事件。有关详细信息,请参见上面的数据流部分。
# 调度器(SCHEDULER)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
# 下载器(DOWLOADER)
用于下载网页内容, 并将网页内容返回给EGINE,下载器是建立在twisted这个高效的异步模型上的
# 爬虫(SPIDERS)
SPIDERS是开发人员自定义的类,用来解析responses,并且提取items,或者发送新的请求
# 项目管道(ITEM PIPLINES)
在items被提取后负责处理它们,主要包括清理、验证、持久化(比如存到数据库)等操作
# 两个中间件
-爬虫中间件
-下载中间件(用的最多,加头,加代理,加cookie,集成selenium)
安装创建和启动
# 1 框架 不是 模块
# 2 号称爬虫界的django(你会发现,跟django很多地方一样)
# 3 安装
-mac,linux平台:pip3 install scrapy
-windows平台:pip3 install scrapy(大部分人可以)
- 如果失败:
1、pip3 install wheel #安装后,便支持通过wheel文件安装软件,wheel文件官网:https://www.lfd.uci.edu/~gohlke/pythonlibs
3、pip3 install lxml
4、pip3 install pyopenssl
5、下载并安装pywin32:https://sourceforge.net/projects/pywin32/files/pywin32/
6、下载twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
8、pip3 install scrapy
# 4 在script文件夹下会有scrapy.exe可执行文件
-创建scrapy项目:scrapy startproject 项目名 (django创建项目)
-创建爬虫:scrapy genspider 爬虫名 要爬取的网站地址 # 可以创建多个爬虫
# 5 命令启动爬虫
-scrapy crawl 爬虫名字
-scrapy crawl 爬虫名字 --nolog # 没有日志输出启动
# 6 文件执行爬虫(推荐使用)
-在项目路径下创建一个main.py,右键执行即可
from scrapy.cmdline import execute
# execute(['scrapy','crawl','chouti','--nolog']) # 没有设置日志级别
execute(['scrapy','crawl','chouti']) # 设置了日志级别
配置文件目录介绍
-crawl_chouti # 项目名
-crawl_chouti # 跟项目一个名,文件夹
-spiders # spiders:放着爬虫 genspider生成的爬虫,都放在这下面
-__init__.py
-chouti.py # 抽屉爬虫
-cnblogs.py # cnblogs 爬虫
-items.py # 对比django中的models.py文件 ,写一个个的模型类
-middlewares.py # 中间件(爬虫中间件,下载中间件),中间件写在这
-pipelines.py # 写持久化的地方(持久化到文件,mysql,redis,mongodb)
-settings.py # 配置文件
-scrapy.cfg # 不用关注,上线相关的
# 配置文件settings.py
ROBOTSTXT_OBEY = False # 是否遵循爬虫协议,强行运行
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36' # 请求头中的ua,去浏览器复制,或者用ua池拿
LOG_LEVEL='ERROR' # 这样配置,程序错误信息才会打印,
#启动爬虫直接 scrapy crawl 爬虫名 就没有日志输出
# scrapy crawl 爬虫名 --nolog # 配置了就不需要这样启动了
# 爬虫文件
class ChoutiSpider(scrapy.Spider):
name = 'chouti' # 爬虫名字
allowed_domains = ['https://dig.chouti.com/'] # 允许爬取的域,想要多爬就注释掉
start_urls = ['https://dig.chouti.com/'] # 起始爬取的位置,爬虫一启动,会先向它发请求
def parse(self, response): # 解析,请求回来,自动执行parser,在这个方法中做解析
print('---------------------------',response)
爬取数据,并解析
# 1 解析,可以使用bs4解析
from bs4 import BeautifulSoup
soup=BeautifulSoup(response.text,'lxml')
soup.find_all() # bs4解析
soup.select() # css解析
# 2 内置的解析器
response.css
response.xpath
# 内置解析
# 所有用css或者xpath选择出来的都放在列表中
# 取第一个:extract_first()
# 取出所有extract()
# css选择器取文本和属性:
# .link-title::text # 取文本,数据都在data中
# .link-title::attr(href) # 取属性,数据都在data中
# xpath选择器取文本和属性
# .//a[contains(@class,"link-title")/text()]
#.//a[contains(@class,"link-title")/@href]
# 内置css选择期,取所有
div_list = response.css('.link-con .link-item')
for div in div_list:
content = div.css('.link-title').extract()
print(content)
数据持久化
# 方式一(不推荐)
-1 parser解析函数,return 列表,列表套字典
# 命令 (支持:('json', 'jsonlines', 'jl', 'csv', 'xml', 'marshal', 'pickle')
# 数据到aa.json文件中
-2 scrapy crawl chouti -o aa.json
# 代码:
lis = []
for div in div_list:
content = div.select('.link-title')[0].text
lis.append({'title':content})
return lis
# 方式二 pipline的方式(管道)
-1 在items.py中创建模型类
-2 在爬虫中chouti.py,引入,把解析的数据放到item对象中(要用中括号)
-3 yield item对象
-4 配置文件配置管道
ITEM_PIPELINES = {
# 数字表示优先级(数字越小,优先级越大)
'crawl_chouti.pipelines.CrawlChoutiPipeline': 300,
'crawl_chouti.pipelines.CrawlChoutiRedisPipeline': 301,
}
-5 pipline.py中写持久化的类
spider_open # 方法,一开始就打开文件
process_item # 方法,写入文件
spider_close # 方法,关闭文件
保存到文件
# choutiaa.py 爬虫文件
import scrapy
from chouti.items import ChoutiItem # 导入模型类
class ChoutiaaSpider(scrapy.Spider):
name = 'choutiaa'
# allowed_domains = ['https://dig.chouti.com/'] # 允许爬取的域
start_urls = ['https://dig.chouti.com//'] # 起始爬取位置
# 解析,请求回来,自动执行parse,在这个方法中解析
def parse(self, response):
print('----------------',response)
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text,'lxml')
div_list = soup.select('.link-con .link-item')
for div in div_list:
content = div.select('.link-title')[0].text
href = div.select('.link-title')[0].attrs['href']
item = ChoutiItem() # 生成模型对象
item['content'] = content # 添加值
item['href'] = href
yield item # 必须用yield
# items.py 模型类文件
import scrapy
class ChoutiItem(scrapy.Item):
content = scrapy.Field()
href = scrapy.Field()
# pipelines.py 数据持久化文件
class ChoutiPipeline(object):
def open_spider(self, spider):
# 一开始就打开文件
self.f = open('a.txt', 'w', encoding='utf-8')
def process_item(self, item, spider):
# print(item)
# 写入文件的操作
self.f.write(item['content'])
self.f.write(item['href'])
self.f.write('\n')
return item
def close_spider(self, spider):
# 写入完毕,最后关闭文件
self.f.close()
# setting.py
ITEM_PIPELINES = {
# 数字表示优先级,越小优先级越高
'chouti.pipelines.ChoutiPipeline': 300,
'chouti.pipelines.ChoutiRedisPipeline': 301,
}
保存到redis
# settings.ps
ITEM_PIPELINES = {
# 数字表示优先级,越小优先级越高
'chouti.pipelines.ChoutiPipeline': 300,
'chouti.pipelines.ChoutiRedisPipeline': 301,
}
# pipelines.py
# 保存到redis
from redis import Redis
class ChoutiRedisPipeline(object):
def open_spider(self, spider):
# 不写参数就用默认配置
self.conn = Redis(password='123') # 一开始就拿到redis对象
def process_item(self, item, spider):
print(item)
import json
s = json.dumps({'content': item['content'], 'href': item['href']})
self.conn.hset('choudi_article', item['id'], s)
return item
def close_spider(self, spoder):
pass
# self.conn.close()
# chouti.py
import scrapy
from chouti.items import ChoutiItem # 导入模型类
class ChoutiaaSpider(scrapy.Spider):
name = 'choutiaa'
# allowed_domains = ['https://dig.chouti.com/'] # 允许爬取的域
start_urls = ['https://dig.chouti.com//'] # 起始爬取位置
# 解析,请求回来,自动执行parse,在这个方法中解析
def parse(self, response):
print('----------------',response)
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text,'lxml')
div_list = soup.select('.link-con .link-item')
for div in div_list:
content = div.select('.link-title')[0].text
href = div.select('.link-title')[0].attrs['href']
id = div.attrs['data-id']
item = ChoutiItem() # 生成模型对象
item['content'] = content # 添加值
item['href'] = href
item['id'] = id
yield item # 必须用yield
动作链,控制滑动的验证码
from selenium import webdriver
from selenium.webdriver import ActionChains
import time
bro=webdriver.Chrome(executable_path='./chromedriver')
bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
bro.implicitly_wait(10)
#切换frame(很少)
bro.switch_to.frame('iframeResult')
div=bro.find_element_by_xpath('//*[@id="draggable"]')
# 1 生成一个动作练对象
action=ActionChains(bro)
# 2 点击并夯住某个控件
action.click_and_hold(div)
# 3 移动(三种方式)
# action.move_by_offset() # 通过坐标(x,y)
# action.move_to_element() # 到另一个标签
# action.move_to_element_with_offset() # 到另一个标签,再偏移一部分
for i in range(5):
action.move_by_offset(10,10)
# 4 真正的移动
action.perform()
# 5 释放控件(松开鼠标)
action.release()