python - 安装 ScrapyJS - python 新手

我正在尝试使用这个scrapy插件(或它是什么): scrapyjs 。

但是没有安装说明，我是 Python 新手。这里有什么基本的东西我错过了吗？我将如何将其与一个scrapy 项目集成。

注意:我更喜欢使用 Scrapy 下载处理程序而不是中间件版本，因为它看起来运行速度更快。 (如我错了请纠正我)。

最佳答案

由于 scrapyjs 不是常规的 Python 包并且未在 PyPI 上注册 - 首先，您需要 clone the repository 并将 scrapyjs 包移动到 PYTHONPATH 下，或移动到您的 scrapy 项目目录中(使其“可导入”)。

有两个选项可以将它与 Scrapy 集成:

patching scrapy to use gtk2 reactor

add a new middleware in settings :

DOWNLOADER_MIDDLEWARES = {
    'scrapyjs.middleware.WebkitDownloader': 1,
}

后者更容易和更干净，但会严重影响性能，因为每个请求都将在阻塞模式下处理。

关于python - 安装 ScrapyJS - python 新手，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/27739821/