我试着用scrapy做一些提取，但它没有返回预期的html，我不知道是什么问题，是否可能是网站的安全性或其他什么问题，因为其他页面正在返回正确的结果。
我试图从这个链接中提取帖子列表，这个链接是关于服务和产品的客户满意度的，但是上面代码返回的html不包含帖子列表，只是一个简单的几乎为空的html。
有人知道会发生什么吗？导致正确提取被阻塞的问题？
代码很简单，与scrapy教程中的代码相同：
我已经尝试了一些爬虫桌面或在线工具，结果是一样的。
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["reclameaqui.com.br"]
start_urls = [
"http://www.reclameaqui.com.br/busca/q=estorno&empresa=Netshoes&pagina=2"
]
def parse(self, response):
filename = response.url.split("/")[-2] + '.html'
with open(filename, 'wb') as f:
f.write(response.body)
最佳答案
首先，您的start_urls中有一个错误。替换：
start_urls = [
"http://www.reclameaqui.com.br/busca/q=estorno&empresa=Netshoes&pagina=2"
]
使用：
start_urls = [
"http://www.reclameaqui.com.br/busca/?q=estorno&empresa=Netshoes&pagina=2"
]
此外，如果您检查响应的来源，您将看到需要克服的其他几个挑战：
有一个
form需要提交才能继续表单输入值使用JavaScript计算
HTML本身被破坏了，
form立即关闭，然后输入：<body>
<form method="POST" action="%2fbusca%2f%3fq%3destorno%26empresa%3dNetshoes%26pagina%3d2"/>
<input type="hidden" name="TS01867d0b_id" value="3"/><input type="hidden" name="TS01867d0b_cr" value=""/>
<input type="hidden" name="TS01867d0b_76" value="0"/><input type="hidden" name="TS01867d0b_86" value="0"/>
<input type="hidden" name="TS01867d0b_md" value="1"/><input type="hidden" name="TS01867d0b_rf" value="0"/>
<input type="hidden" name="TS01867d0b_ct" value="0"/><input type="hidden" name="TS01867d0b_pd" value="0"/>
</form>
</body>
使用
FormRequest.from_response()可以轻松解决第一个问题。第二个是一个更严重的问题，您可能只使用真正的浏览器（查找selenium）—我曾尝试使用ScrapyJS，但未能解决它。第三个问题，如果不切换到使用真正的浏览器，可以通过允许BeautifulSoup和lenient html5lib parser修复HTML来解决。以下是Python/Scrapy中的上述思想（不起作用-获取
Connection to the other side was lost in a non-clean fashion错误-我怀疑不是所有的输入值/POST参数都被计算出来了）：from bs4 import BeautifulSoup
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
start_urls = [
"http://www.reclameaqui.com.br/busca/?q=estorno&empresa=Netshoes&pagina=2"
]
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url, self.parse_page, meta={
'splash': {
'endpoint': 'render.html',
'args': {'wait': 0.8}
}
})
def parse_page(self, response):
soup = BeautifulSoup(response.body, "html5lib")
response = response.replace(body=soup.prettify())
return scrapy.FormRequest.from_response(response,
callback=self.parse_form_request,
url="http://www.reclameaqui.com.br/busca/?q=estorno&empresa=Netshoes&pagina=2",
headers={
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
})
def parse_form_request(self, response):
print(response.body)
有关
selenium和ScrapyJS设置的更多信息，请参见：Scraping dynamic content using python-Scrapy
此外，请确保遵循Terms of Use页中描述的规则。