问题
如何忽略scrapy中响应的内容长度？
解释
考虑这个curl命令“curl -u <user:pass> http://data.icecat.biz/export/level4/NL/files.index.xml
它当前失败，因为ICECAT错误地设置了内容长度头。
我们可以通过使用curl的ignore content length参数忽略内容长度来解决此问题：curl --ignore-content-length -u <user:pass> http://data.icecat.biz/export/level4/NL/files.index.xml
一切都很好！
但是，我不知道如何在Scrapy中执行此操作。
google和文档对我来说什么都没有。
在我深入研究修补这个错误的代码之前，也许已经有人这么做了。
最佳答案
此问题已在Scrapy 1.5中修复
引入了新设置-在数据丢失时下载失败
您需要在项目设置中将其设置为false。