scrapyd文档包括以下注释:
scrapyd-deploy不会在项目模块之外部署任何东西...
这是否意味着我无法从Spider的站点包中导入?
我的蜘蛛依赖于外部库,例如MySQL-python和tldextract。我是否必须将这些库包含在项目模块中,并从包含库(而不是站点包)中导入?
最佳答案
我认为Deploying your project文档段落应阐明以下内容:
最后,要部署您的项目,请使用:
scrapyd-deploy scrapyd -p project1
这将使您的项目更加鸡蛋化,
将其上传到目标,打印从传回的JSON响应
Scrapyd服务器。如果您的项目中有一个
setup.py
文件,则该文件将会被使用。否则将自动创建一个
setup.py
文件(基于简单的模板),您以后可以对其进行编辑。
换句话说,您将/应该在
MySQL-python
中列出tldextract
,setup.py
或其他依赖项,这些依赖项将在部署期间自动安装。关于python - 使用外部程序包部署刮scrap的蜘蛛,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/29049621/