我正在尝试从Goodreads中提取信息。问题是,如果我输入如下网址:
https://www.goodreads.com/shelf/show/programming?page=2
使用Selenium chrome Webdriver或BeautifulSoup,它仍显示第一页,而不是第二页。
chrome webdriver的示例:
在普通浏览器上,它将显示这些书:
最佳答案
似乎发生这种情况是因为您没有登录selenium会话,因此必须在两次重启之间登录并保存cookie。
查看this stackoverflow答案以了解如何提取cookie。
关于python - Selenium 和Goodreads的分页,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/44456553/