python - python beautifulsoup-当下一页没有唯一地址时如何转到下一页

我试图编写一个使用beautifulsoup从https://www.ncbi.nlm.nih.gov/gene/?term=Celiac+disease中提取基因名称的网络爬虫

我的代码可以从第一页获得所需的结果，但是我不知道如何编写代码以使程序移至下一页。单击“下一步”按钮后，我得到一个新地址，该地址与上一页没有任何关系。
例如，第一页的地址为https://www.ncbi.nlm.nih.gov/gene/?term=Celiac+disease，但下一页的地址为https://www.ncbi.nlm.nih.gov/gene（尽管仍显示与腹腔疾病相关的结果）

我查了一下google和stackoverflow，看是否有与此问题有关的文章。但是我只能找到有关带有相似地址的页面的文章，并且（对我而言）在逻辑上要遵循它们的踪迹。

from bs4 import BeautifulSoup
from urllib.request import urlopen

gene_result = []

url = "https://www.ncbi.nlm.nih.gov/gene/?term=Celiac+disease"
html = urlopen(url).read()
soup = BeautifulSoup(html, "html5lib")

tbody = soup.find("tbody")
a_href = tbody.find_all("a")

for x in a_href:
    gene = x.contents[0]
    gene_result.append(gene)

print(gene_result)

该代码可以很好地爬行第一页，并且得到了很好的结果：

['CTLA4', 'HLA-DQA1', 'IL2', 'IL21', 'CCR3', 'CELIAC2', 'ATXN2', 'SH2B3', 'HLA-DQB1', 'CELIAC5', 'TAGAP', 'CELIAC7', 'CELIAC13', 'CELIAC12', 'CELIAC11', 'CELIAC10', 'CELIAC9', 'CELIAC8', 'CELIAC6', 'KIAA1109']

有人可以帮我解决这个问题吗？

最佳答案

对于此类网站，您需要使用selenium webdriver with python.

您将需要通过此网络驱动程序模拟从python代码中单击“下一步”按钮，然后将html_source读取到BeautifulSoup中。

关于python - python beautifulsoup-当下一页没有唯一地址时如何转到下一页，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53962010/