据我所知,雅虎电影没有API,因此我为其制作了刮板(Java)。
现在的问题是,当我向yahoo电影请求几个页面时,有时会返回一个“未知问题”页面,因此我决定重新请求该页面,直到它显示具有所需信息的页面,但有时我不得不像20倍,40、120、400这样重新请求,这样就不好了:(。
我很确定我要输入正确的网址。
这是一个示例网址
http://movies.yahoo.com/mvc/dfrv?mid=1810159162&uid=vdpL427zgsScLbwOEsyG4zOn1bQex.F2Xg--&s=&i=0&spl=0
所以我经历了它的分页。
有人知道为什么会这样吗?雅虎有限制吗?
另外,您知道其他获得电影评论的来源或API吗? (除了IMDB)
谢谢
最佳答案
首先,检查其TOS是否可以接受。他们可能不喜欢自己的网站被刮掉。
其次,我认为它们会限制您的连接。而不是再试一次直到它起作用,我会自己控制一下。考虑一个Thread.sleep(500)
。 (调整数字,这样您就不会出错。)如果您始终如一地显示为受限状态,则它们很可能会阻塞您的IP。