我已经看到了,但这里没有提到python。我考虑过使用this question about scraping ajax,我相信他们有一些关于这个主题的文档,但是正如你所看到的,网站已经关闭了。所以我不知道该怎么做。我要执行以下操作:
我只有一个url,example.com你可以通过点击Submit在页面间切换,这个url不会改变,因为它们使用Ajax来显示内容。我想把每一页的内容刮下来,怎么做呢?
假设我只想刮下数字,除了刮屑,还有什么能做到这一点吗?如果没有,你能给我一个关于如何做的小片段吗,仅仅是因为他们的网站关闭了,所以我无法联系到文档。
最佳答案
首先,Scrapy Docs可以在https://scrapy.readthedocs.org/en/latest/上找到。
说到在Web抓取时处理Ajax。基本上,这个想法相当简单:
打开浏览器开发人员工具,网络选项卡
转到目标站点
单击“提交”按钮,查看服务器将要执行的操作
在Spider中模拟此请求
另请参见:XHR
request
Can scrapy be used to scrape dynamic content from websites that are using AJAX?
希望有帮助。