增量采集中的几种去重方案

引言

数据采集工作中，难免会遇到增量采集。而在增量采集中，如何去重是一个大问题，因为实际的需要采集的数据也许并不多，但往往要在判断是否已经采集过这件事上花点时间。比如对于资讯采集，如果发布网站每天只更新几条或者根本就不更新，那么如何让采集程序每次只采集这更新的几条（或不采集）是一件很简单的事，数据库就是一种实现方式。不过当面临大量的目标网站时，每次采集前也许就需要先对数据库进行大量的查询操作，这是一件费时的事情，难免降低采集程序的性能，使得每次采集耗时变大。本文从资讯采集角度出发，以新浪新闻排行（地址：http://news.sina.com.cn/hotnews/）资讯采集为例，针对增量采集提出了去重方案。

数据库去重

考虑到数据库查询亦需耗费时间，因此去重字段可单独存放到一张表上，或使用 redis 等查询耗时较少的数据库。一般来说，可以将文章详情页源地址作为去重字段。考虑到某些连接字符过长，可以使用 md5 将其转化为统一长度的字符。而后在每次采集时，先抓取列表页，解析其中的文章信息，将链接 md5 化，然后再将得到的结果到数据库中查询，如果存在则略过，否则深入采集。以 redis 为例，实现代码如下：

import hashlib

import redis
import requests
import parsel


class NewsSpider(object):

    start_url = 'http://news.sina.com.cn/hotnews/'

    def __init__(self):
        self.db = RedisClient('news')

    def start(self):
        r = requests.get(self.start_url)
        for url in self.parse_article(r):

            fingerprint = get_url_fingerprint(url)

            if self.db.is_existed(fingerprint):
                continue

            try:
                self.parse_detail(requests.get(url))
            except Exception as e:
                print(e)
            else:
                # 如果解析正常则将地址放入数据库
                self.db.add(fingerprint)

    def parse_article(self, response):
        """解析文章列表页并返回文章地址"""
        selector = parsel.Selector(text=response.text)
        # 获取所有文章地址
        return selector.css('.ConsTi a::attr(href)').getall()

    def parse_detail(self, response):
        """详情页解析逻辑省略"""
        pass


class RedisClient(object):
    """Redis 客户端"""
    def __init__(self, key):
        self._db = redis.Redis(
            host='localhost',
            port=6379,
            decode_responses=True
        )
        self.key = key

    def is_existed(self, value):
        """检测 value 是否已经存在
        如果存在则返回 True 否则 False
        """
        return self._db.sismember(self.key, value)

    def add(self, value):
        """存入数据库"""
        return self._db.sadd(self.key, value)


def get_url_fingerprint(url):
    """对 url 进行 md5 加密并返回加密后的字符串"""
    md5 = hashlib.md5()
    md5.update(url.encode('utf-8'))
    return md5.hexdigest()

注意以上代码中，对请求的 md5 并没有考虑对 POST 请求的 md5 加密，如有需要可自行实现。

根据 HTTP 缓存机制去重

设若我们有大量的列表页中的文章需要采集，而距离上次采集时，有的更新了几条新闻，有的则没有更新。那么如何判断数据库去重虽然能解决具体文章的去重，但对于文章索引页仍需要每次请求，因为 HEAD 请求所花费的时间要比 GET/POST 请求要少，所以可用 HEAD 请求获取索引页的相关信息，从而判断索引页是否有更新。通过对目标地址请求可以查看具体信息：

>>> r = requests.head('http://news.sina.com.cn/hotnews/')
>>> for k, v in r.headers.items():
...     print(k, v)
...
Server: nginx
Date: Fri, 31 Jan 2020 09:33:22 GMT
Content-Type: text/html
Content-Length: 37360
Connection: keep-alive
Vary: Accept-Encoding
ETag: "5e33f39e-28e01"V=CCD0B746
X-Powered-By: shci_v1.03
Expires: Fri, 31 Jan 2020 09:34:16 GMT
Cache-Control: max-age=60
Content-Encoding: gzip
Age: 6
Via: http/1.1 ctc.guangzhou.union.182 (ApacheTrafficServer/6.2.1 [cSsNfU]), http/1.1 ctc.chongqing.union.138 (ApacheTrafficServer/6.2.1 [cHs f ])
X-Via-Edge: 158046320209969a5527d9b2299db18a555d7
X-Cache: HIT.138
X-Via-CDN: f=edge,s=ctc.chongqing.union.144.nb.sinaedge.com,c=125.82.165.105;f=Edge,s=ctc.chongqing.union.138,c=219.153.34.144

在此，基于 HTTP 缓存机制，我们有以下几种方式来判断页面是否有更新：

1. Content-Length

注意以上信息中的 Content-Length 字段，它指明了索引页字符的长度。由于一般有更新的页面字符长度也会有所不同，因此可以使用它来判定索引页是否有更新。

2. ETag

Etag 响应头字段表示资源的版本，在发送请求时带上 If-None-Match 头字段，来询问服务器该版本是否仍然可用。如果服务器发现该版本仍然是最新的，就可以返回 304 状态码指示 UA 继续使用缓存，那么就不用再采集具体的页面了。本例中亦可使用：

# ETag 完整字段为  "5e33f39e-28e01"V=CCD0B746
# 实际需要的则是 5e33f39e-28e01
>>> r = requests.get('http://news.sina.com.cn/hotnews/', headers={'If-None-Match': '5e33f39e-28e01'})
>>> r.status_code
304
>>> r.text
''

3. Last-Modified

本例并没有 Last-Modified 字段，不过考虑到其他网站可能会有该字段，因此亦可考虑作为去重方式之一。该字段与 Etag 类似，Last-Modified HTTP 响应头也用来标识资源的有效性。不同的是使用修改时间而不是实体标签。对应的请求头字段为 If-Modified-Since。

实现思路

以上三种都可以将上次请求得到的信息存入到数据库中，再次请求时则取出相应信息并发送相应请求，如果与本地一致（或响应码为 304）则判断为未更新，不然则继续请求。鉴于有的网站并没有实现 HTTP 缓存机制，有的则只实现某一种。因此可以考虑在采集程序中将以上三种机制全部实现，从而保证最大化的减少无效请求。具体实现思路为：

请求目标网站

    - 以 Content-Length 判断 -> HEAD 请求
        与本地存储长度对比
            一致    -> 忽略
            不一致  -> 发送 GET/POST 请求
                       同时更新本地数据

    - 以 ETag/Last-Modified 判断 -> GET/POST 请求
      并在请求头中带上相应信息
        判断响应码
            304 -> 忽略
            200 -> 解析并更新本地数据

    - 无相应字段 -> GET/POST 请求

根据更新频率分配优先权

根据 HTTP 缓存机制并不能完美的适配所有网站，因此，可以记录各个目标网站的更新频率，并将更新较为频繁的网站作为优先采集对象。

参考

使用 HTTP 缓存：Etag, Last-Modified 与 Cache-Control： https://harttle.land/2017/04/04/using-http-cache.html

kingron