javascript - 如何使用关键字搜索来抓取youtube视频链接

我正在做一些研究
我想抓取youtube视频链接（然后获取视频ID）

例如，如果我在youtube搜索栏上输入关键字“ obama”
然后youtube.com将返回结果页面

http://www.youtube.com/results?search_query=htc&page=2
向下滚动页面到底部
我们可以看到页码1 2 3 4 5 6 7
单击页码从2到3到4到5。
那么我们可以达到最大页数：50

所以我想从1到50下载所有页面
有一个URL技巧，像

http://www.youtube.com/results?search_query=obama&page=5

但是，如果我使用wget下载每个页面，有时会阻止下载
或有时，当页码很大时，返回的页面不是异常页面。

因此，正确的方法是手动单击页码按钮，然后使用网络浏览器下载每个页面，是否可以使手动过程自动化？
我在Internet上搜索，一些人提到chrome javascript扩展，
无论如何，有没有办法编写一些自动化脚本来模仿手动操作？谢谢！

最佳答案

为什么不只使用他们的API？爬行通常是不好的做法。

https://developers.google.com/youtube/2.0/developers_guide_protocol

https://developers.google.com/youtube/2.0/developers_guide_protocol_api_query_parameters

https://gdata.youtube.com/feeds/api/videos?
    q=football+-soccer
    &orderby=published
    &start-index=11
    &max-results=10
    &v=2

关于javascript - 如何使用关键字搜索来抓取youtube视频链接，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/14144195/