我正在尝试从Goodreads中提取信息。问题是,如果我输入如下网址:


  https://www.goodreads.com/shelf/show/programming?page=2


使用Selenium chrome Webdriver或BeautifulSoup,它仍显示第一页,而不是第二页。
chrome webdriver的示例:

python -  Selenium 和Goodreads的分页-LMLPHP

在普通浏览器上,它将显示这些书:

python -  Selenium 和Goodreads的分页-LMLPHP

最佳答案

似乎发生这种情况是因为您没有登录selenium会话,因此必须在两次重启之间登录并保存cookie。

查看this stackoverflow答案以了解如何提取cookie。

关于python - Selenium 和Goodreads的分页,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/44456553/

10-11 08:27