scrapy 动态网页处理——爬取鼠绘海贼王最新漫画

简介

scrapy是基于python的爬虫框架，易于学习与使用。本篇文章主要介绍如何使用scrapy爬取鼠绘漫画网海贼王最新一集的漫画。

源码参见：https://github.com/liudaolufei/crawl-comic

网站分析

鼠绘海贼王网站网址为：http://www.ishuhui.com/comics/anime/1

漫画链接无法直接从原始网页中得到，需要点击对应的话数，链接才会显示出来，如下图所示：

获取链接后即可获得海贼王漫画的网页地址，网页如下：

原始的网页没有漫画的图片链接，需要点击图中的“连页模式”，之后网页才会显示漫画的具体内容，此时的漫画内容也是动态加载的，随着窗口不断往下，图片会一张张加载出来。

工具

scrapy: 爬虫框架

splash: 动态网页处理

环境安装

scrapy安装

已安装anaconda，python3.7版本。

创建scrapy虚拟环境并激活

 conda create -n scrapy

 conda activate scrapy

使用pip安装scrapy以及用于与splash交互的scrapy-splash

 pip install scrapy scrapy-splash

在使用scrapy的ImagePipeline的时候需要第三方库PIL，安装PIL

 pip install pillow

splash安装

splash服务是通过docker启用的，所以要先安装docker，docker安装参见：https://docs.docker.com/install/

使用docker安装splash

 docker pull scrapinghub/splash

启用splash服务

 docker run -p : scrapinghub/splash

scrapy爬虫

生成scrapy项目并生成爬虫

 scrapy startproject crawlComics

 cd crawlComics

 scrapy genspider shuhui http://www.ishuhui.com/anime/1

此时在spiders文件夹下有了shuhui.py，这是爬虫的基础模板。

修改基础设置（setting.py）

使用splash的设定

  # Splash服务器地址

  SPLASH_URL = 'http://localhost:8050'

  # 开启Splash的两个下载中间件并调整HttpCompressionMiddleware的次序

  DOWNLOADER_MIDDLEWARES = {

      'scrapy_splash.SplashCookiesMiddleware': 723,

      'scrapy_splash.SplashMiddleware': 725,

      'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 727,

  }

  # 设置去重过滤器

  DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

user-agent

 USER_AGENT = "Mozilla/5.0 (Platform; Encryption; OS-or-CPU; Language) AppleWebKit/AppleWebKitVersion (KHTML, like Gecko)"

使用ImagePipelines保存图片的相关设定

 # 图片存储位置

 IMAGES_STORE = "/home/luoheng/comics/"

 # 启用ImagesPipeline来下载图片

 ITEM_PIPELINES = {

     'crawlComics.pipelines.RenameImagesPipeline': 500,

 }

添加item

item是scrapy中传输数据的基本单位，可以简单的理解为字典。

scrapy的ImagePipelines是为下载图片专门设计的，它接受一个包含键值“image_urls”和“images”的item。ImagePipelines在得到item后，会自动根据image_urls中包含的链接下载对应的图片，并放置到上文设定的IMAGE_STORE中。

故为了使用ImagePipelines，在items.py中添加一个符合条件的item：

 class ImageItem(scrapy.Item):

     image_urls = scrapy.Field()

     images = scrapy.Field()

     # store picture names

     image_names = scrapy.Field()

前两项是为了满足ImagePipelines的要求设置的，最后一项用于设置下载图片的名字，因为ImagePipelines默认使用hash值对图片进行命名，不具可读性。

实现爬虫

爬虫主要的工作流程

1. 在http://www.ishuhui.com/anime/1页面点击最新漫画按钮，返回响应结果

2. 从响应结果中获取海贼王最新漫画的具体网址

3. 在最新漫画的网址中点击“连页模式”，并将网页拉到最下方，以使所有图片的链接加载出来，返回响应结果

4. 从响应结果中获取图片的链接，使用ImagePipelines下载

导入item与splash

 from scrapy_splash import SplashRequest

 from ..items import ImageItem

SplashRequest用于与splash服务进行交互，在这里主要用了splash的“execute”功能，它接受的几个参数如下：

 SplashRequest(url, callback=self.parse, endpoint="execute", args={"lua_source": lua_script})

url是原始网址，callback是回调函数，即处理返回的response的函数，endpoint指明使用的功能，这里使用的是“execute”，即执行脚本的功能，最后一个args用于指定用于执行的脚本，这里的脚本是用lua语言写成的，在Python中以字符串形式存在。

点击最新漫画

 click_latest_comic = """

 function main(splash)

     # 打开网页

     splash:go(splash.args.url)

     # 等待网页加载

     splash:wait(2)

     # 点击最新漫画（由class ant-tag-red识别）

     splash:runjs("document.getElementsByClassName('ant-tag-red')[0].click()")

     # 等待网页加载

     splash:wait(0.1)

     # 返回网页结果

     return splash:html()

 end

 """

 # 返回点击最新漫画后的响应结果

 yield SplashRequest(url, callback=self.show_all, endpoint="execute", args={"lua_source": click_latest_comic})

打开具体网址，并加载所有漫画图片

show_all_pictures = """

function main(splash)

    # 打开网页

    splash:go(splash.args.url)

    # 等待网页加载

    splash:wait(2)

    # 点击连页模式（由class z-page识别）

    splash:runjs("document.getElementsByClassName('z-page')[0].click()")

    # 等待网页加载

    splash:wait(0.1)

    # 将网页拉到最下方，使所有图片的链接加载出来

    splash:runjs("window.scrollTo(0, document.body.scrollHeight)")

    # 等待网页加载

    splash:wait(0.1)

    # 返回响应结果

    return splash:html()

end

"""

def show_all(self, response):

    # 获取漫画具体网址

    target = response.css(".m-comics-num-link").xpath("@url").extract_first()

    # target是相对网址，它的前缀是http://www.hanhuazu.cc

    new_url = "http://www.hanhuazu.cc" + target

    # 返回已经加载了所有图片链接的网页

    yield SplashRequest(new_url, endpoint="execute", args={"lua_source": show_all_pictures}) 

使用ImageItem保存图片链接并传送给ImagePipelines下载

 def parse(self, response):

     # 所有图片

     comics = response.css("div img")

     # src属性中保存所有图片链接，alt属性保存图片名字

     comics_picture, comics_name = comics.xpath("@src").extract(), comics.xpath("@alt").extract()

     # 构建ImageItem并返回给ImagePipelines

     images = ImageItem()

     # 保存图片链接

     images["image_urls"] = comics_picture

     # 保存图片链接与图片名字的映射，用于下载图片的命名

     images["image_names"] = dict(zip(comics_picture, comics_name))

     # 返回后，ImagePipelines会自动下载图片

     return images

修改ImagePipelines，覆盖默认命名

 class RenameImagesPipeline(ImagesPipeline):

     """to rename the images properly"""

     def process_item(self, item, spider):

         # add names

         self.item_names = item["image_names"]

         info = self.spiderinfo

         requests = arg_to_iter(self.get_media_requests(item, info))

         dlist = [self._process_request(r, info) for r in requests]

         dfd = DeferredList(dlist, consumeErrors=1)

         return dfd.addCallback(self.item_completed, item, info)

     def file_path(self, request, response=None, info=None):

         return self.item_names[request.url]

ImagesPipeline的file_path用于计算图片的命名，但是由于图片名字保存在item的image_names属性中，而file_path并不直接接受item参数，所以需要将item["image_names"]保存到self.item_names中，如此file_path才可访问到名字。

因此将ImagesPipeline的process_item方法的代码完整复制过来，并在最前面将image_names保存到self.item_names当中，在file_path方法中只用简单调用self.item_names[request.url]即可获取图片名字。

运行爬虫

 scrapy crawl shuhui

完成后，在comics文件夹中可以看到爬取的图片。

总结

以爬取鼠绘海贼王漫画为例，本文简单介绍了使用scrapy+splash处理动态网页的方法。