scrapy无法正确下载文件。我有商品的URL,所以我认为可以使用wget下载文件。
我如何在scrapy process_item
函数中使用wget?另外,还有其他下载文件的方式吗?
class MyImagesPipeline(ImagesPipeline):
#Name download version
def image_key(self, url):
image_guid = url.split('/')[-1]
return 'full/%s' % (image_guid)
def get_media_requests(self, item, info):
if item['image_urls']:
for image_url in item['image_urls']:
# wget -nH image_ul -P images/
yield Request(image_url)
最佳答案
这段代码将执行wget,您可以将注释替换为以下几行
import subprocess
...
subprocess.call(['wget','-nH', image_url, '-P images/'])
您可以在此处阅读有关subprocess.call的信息:http://docs.python.org/2/library/subprocess.html
关于python - 我该如何使用wget来下载文件,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/13983941/