scrapyd文档包括以下注释:


  scrapyd-deploy不会在项目模块之外部署任何东西...


这是否意味着我无法从Spider的站点包中导入?

我的蜘蛛依赖于外部库,例如MySQL-python和tldextract。我是否必须将这些库包含在项目模块中,并从包含库(而不是站点包)中导入?

最佳答案

我认为Deploying your project文档段落应阐明以下内容:


  最后,要部署您的项目,请使用:

scrapyd-deploy scrapyd -p project1

  
  这将使您的项目更加鸡蛋化,
  将其上传到目标,打印从传回的JSON响应
  Scrapyd服务器。如果您的项目中有一个setup.py文件,则该文件
  将会被使用。否则将自动创建一个setup.py文件
  (基于简单的模板),您以后可以对其进行编辑。


换句话说,您将/应该在MySQL-python中列出tldextractsetup.py或其他依赖项,这些依赖项将在部署期间自动安装。

关于python - 使用外部程序包部署刮scrap的蜘蛛,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/29049621/

10-10 12:44