scrapy爬虫系列之五--CrawlSpider的使用

功能点：CrawlSpider的基本使用

爬取网站：保监会

主要代码：

cf.py

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

import re

class CfSpider(CrawlSpider):    # 继承自CrawlSpider

    """主要是介绍CrawlSpider的用法"""

    name = 'cf'

    allowed_domains = ['circ.gov.cn']

    # 第一次请求的url，如果有特殊需求，可以定义一个parse_start_url函数来处理这个url所对应的响应

    start_urls = ['http://circ.gov.cn/web/site0/tab5240/']

    rules = (

        # LinkExtractor 链接提取器，提取url地址

        # callback 可以没有

        # follow 当前url的响应是否重新经过rules来提取url

        # 注意点：

        # 1、两个Rule的callback解析函数，不能直接传递参数

        # 2、如果多个Rule都满足同一个url，会从rules中选择第一个满足的操作

        # 详情的url提取器

        Rule(LinkExtractor(allow=r'/web/site0/tab5240/info\d+\.htm'), callback='parse_item'),

        # 列表的url提取器

        Rule(LinkExtractor(allow=r'/web/site0/tab5240/module14430/page\d+\.htm'), follow=True),

    )

    # parse是发送url请求的，不能在此定义

    # 解析详情页

    def parse_item(self, response):

        item = {}

        # 通过正则匹配

        item["title"] = re.findall("<!--TitleStart-->(.*?)<!--TitleEnd-->", response.body.decode())[0]

        item["publish_time"]  = re.findall("发布时间：(20\d{2}-\d{2}-\d{2})", response.body.decode())[0]

        print(item)

        print("*"*30)

    #     # 此处也可以接着构造请求

    #     yield scrapy.Request(

    #         url,

    #         callback=self.parse_detail,

    #         meta={"item": item}

    #     )

    #

    # # 构造其他属性

    # def parse_detail(self, response):

    #     item = response.meta["item"]

    #     item["price"] = 11

    #     yield item