简单的scrapy实例

前天实验室的学长要求写一个简单的scrapy工程出来，之前也多少看了点scrapy的知识，但始终没有太明白，刚好趁着这个机会，加深一下对scrapy工作流程的理解。由于临近期末，很多作业要做(其实。。。。。。。。。。。。。。主要还是自己太菜了，嘻嘻)，所以决定去搜一个简单的实例模仿一下。

显示搜了一个爬取腾讯招聘网了例子(https://www.cnblogs.com/xinyangsdut/p/7628770.html),动手敲完之后无法运行，试着调式，也无法解决。就又去找了一个爬取博客园的(https://www.jianshu.com/p/78f0bc64feb8),这个例子只能爬取第一页，稍微改了下，可以爬取任意多个页面。再改的时候，也遇到了一下麻烦。还是对scrapy理解不够(其实。。。。。。。还是自己太菜，流下了无知的眼泪)，不过最好总算是顺利完成了。下面，简单的解剖一下这个例子。

首先是编写item文件，根据爬取的内容，定义爬取字段。代码如下：

import scrapy

class CnblogItem(scrapy.Item):

    # define the fields for your item here like:

    # name = scrapy.Field()

    title = scrapy.Field()　　#定义爬取的标题

    link = scrapy.Field()　　 #定义爬取的连接

编写spider文件(这是关键)，这里命名为cnblog_spider，代码如下：

# -*- coding: utf-8 -*-

import scrapy

from cnblog.items import CnblogItem

class CnblogSpiderSpider(scrapy.Spider):

    name = "cnblog_spider"

    allowed_domains = ["cnblogs.com"]

    url = 'https://www.cnblogs.com/sitehome/p/'

    offset = 1

    start_urls = [url+str(offset)]

    def parse(self, response):

        item = CnblogItem()

        item['title'] = response.xpath('//a[@class="titlelnk"]/text()').extract()       #使用xpath搜索

        item['link'] = response.xpath('//a[@class="titlelnk"]/@href').extract()

        yield item

        print("第{0}页爬取完成".format(self.offset))

        if self.offset < 10:        #爬取到第几页

            self.offset += 1

        url2 = self.url+str(self.offset)    #拼接url

        print(url2)

        yield scrapy.Request(url=url2, callback=self.parse)

就这部分代码内容来说，没什么难于理解的，但如果搞明白整个运行流程的话，对理解scrapy有很大的帮助。

编写pipelines文件，用于把我们爬取到的数据写入TXT文件。

class FilePipeline(object):

    def process_item(self, item, spider):

        data = ''

        with open('cnblog.txt', 'a', encoding='utf-8') as f:

            titles = item['title']

            links = item['link']

            for i, j in zip(titles, links):

                data += i+'     '+j+'\n'

            f.write(data)

            f.close()

        return item

更改setting文件

ROBOTSTXT_OBEY = False          #一定要把这个参数的值更改为Fals

DEFAULT_REQUEST_HEADERS = {

   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

   'Accept-Language': 'en',

    #user-agent新添加

    'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"

}

#新修改

ITEM_PIPELINES = {

    'cnblog.pipelines.FilePipeline': 300,    #实现保存到txt文件

}

编写一个main文件，scrapy是不能在编译器里面调试的，但我们可以自己写一个主文件，运行这个主文件就可以像普通的工程一样在编译器里调式了。代码如下
```
from scrapy import cmdline

cmdline.execute("scrapy crawl cnblog_spider --nolog".split())       #--nolog是以不显示日志的形式运行，如果需要看详细信息，可以去掉
```
现在，我们这个例子就算是写完了，运行main.py，就会生成一个cnblog.Ttxt的文件，里面就是我们爬取下来的内容了。如下图

最后说一下写这个例子的收获与感想：在敲代码的过程中，发现自己对python一些知识点掌握的还是不够牢固，甚至是while循环一下子都写不出来，以后还是写多点py(别想歪哦)！另外还有一点，有时候真是没压力就没动力，之前学习scrapy时，一直没写出来一个能成功运行的例子，这次在学长的要求下，总算成功写出来了一个。虽然学习之路如此艰难，但绝不应该逃避。加油呀！！！！！

（ps：本人太菜，若有错误的地方欢迎大佬随时责骂。。。。xixixii）