Scrapy爬虫实现千库网美图数据获取和热门分享排名

随着互联网的普及，人们对图像的需求逐渐增加，美图网站也应运而生。千库网是一个专门提供高清美图和素材资源的平台，这里面有海量精美的图片素材，可供使用者免费下载，也可以替代商业美术资源。然而，手动下载这些美图耗费时间且效率低下。因此，本文介绍如何用Scrapy爬虫实现千库网上的美图数据获取和热门分享排名。

一、安装Scrapy

安装Scrapy前，我们需要提前安装Python环境。在Python环境下，通过pip install scrapy的命令即可安装Scrapy。

二、创建Scrapy工程

打开命令行 terminal，进入想要创建工程的目录下，输入命令 scrapy startproject qkspider，即可在该目录下创建一个名为“qkspider”的Scrapy工程。

三、创建爬虫

进入工程目录，输入命令 scrapy genspider qk qkpic.com ，即可在spiders文件夹下创建一个名为“qk”的爬虫。

四、编写代码

1.修改settings.py文件

首先，打开qkspider目录下的settings.py文件，在其中添加以下代码：

ITEM_PIPELINES = {'qkspider.pipelines.QkspiderPipeline':100,}

登录后复制

这是为了将获取到的美图数据存储到数据库中。

2.修改pipelines.py文件

接着，我们需要打开qkspider目录下的pipelines.py文件，在其中添加以下代码：

import pymongo

class QkspiderPipeline(object):
    def __init__(self):
        client = pymongo.MongoClient("mongodb://localhost:27017/")
        db = client['qkdb']
        self.collection = db['qkpic']

    def process_item(self, item, spider):
        self.collection.insert(dict(item))
        return item

登录后复制

这是为了将获取到的美图数据存储到MongoDB中。

3.修改items.py文件

打开qkspider目录下的items.py文件，在其中添加以下代码：

import scrapy

class QkspiderItem(scrapy.Item):
    title = scrapy.Field()
    img_url = scrapy.Field()
    share_num = scrapy.Field()

登录后复制

这是为了定义要获取的数据类型。

4.修改qk.py文件

打开spiders文件夹下的qk.py文件，在其中添加以下代码：

import scrapy
from qkspider.items import QkspiderItem

class QkSpider(scrapy.Spider):
    name = "qk"
    allowed_domains = ["qkpic.com"]
    start_urls = ["http://www.qkpic.com/"]

    def parse(self, response):
        items = []
        pic_lists = response.xpath('//div[@class="index_mianpic"]/ul/li')
        for i, pic in enumerate(pic_lists):
            item = QkspiderItem()
            item['title'] = pic.xpath('./a/@title').extract_first()
            item['img_url'] = pic.xpath('./a/img/@src').extract_first()
            item['share_num'] = int(pic.xpath('./span/em/text()').extract_first())
            items.append(item)
        return items

登录后复制

这是为了定义何种规则爬取千库网站的美图数据，并将数据存入MongoDB中。在该代码中，我们指定了要获取的美图信息，包括美图标题、URL地址、以及分享量。

五、运行爬虫

现在，我们可以在命令行 terminal 中运行刚刚编写的爬虫程序了。在qkspider目录下输入命令 scrapy crawl qk，即可运行qk.py文件中的程序，开始爬取千库网站的美图数据并存储到MongoDB中。

六、实现热门分享排名

为了获得千库网站热门分享排行榜，我们需要获取热门榜单页面的URL，并在qk.py文件中加入如下代码：

class QkSpider(scrapy.Spider):
    name = "qk"
    allowed_domains = ["qkpic.com"]
    start_urls = ["http://www.qkpic.com/", "http://www.qkpic.com/top/"]

    def parse(self, response):
        if response.url.startswith('http://www.qkpic.com/top/'):
            items = self.parse_rank_list(response)
        else:
            items = self.parse_pic_info(response)
        return items

    # 爬取热门榜单信息
    def parse_rank_list(self, response):
        items = []
        pic_lists = response.xpath('//div[@class="topcont"]/ul/li')
        for i, pic in enumerate(pic_lists):
            item = QkspiderItem()
            item['title'] = pic.xpath('./a/@title').extract_first()
            item['img_url'] = pic.xpath('./a/img/@src').extract_first()
            item['share_num'] = int(pic.xpath('./div[1]/i[2]/text()').extract_first())
            items.append(item)
        return items

登录后复制

在该代码中，我们对start_urls赋值为网站首页以及热门榜单页面，并添加了一个新的函数parse_rank_list。

七、总结

本文介绍了如何使用Scrapy爬虫框架来爬取千库网站的美图数据。在爬虫的过程中，我们定义了需要获取的数据类型，并使用MongoDB存储获取到的数据。除此之外，本文还介绍了如何获取千库网站的热门分享排行榜，以拓展该爬虫程序的功能。

以上就是Scrapy爬虫实现千库网美图数据获取和热门分享排名的详细内容，更多请关注Work网其它相关文章！