我想从分页站点中获取一些链接URL。我正在学习一些教程,因为我对Selenium(或Python)不太熟悉。
无论如何,在下面的循环中,我能够从每个页面中获取第一个网址,但是我需要获取每个页面10个网址:
browser = webdriver.Firefox()
browser.get("http://www.scba.gov.ar/jurisprudencia/Navbar.asp?Busca=Fallos+Completos&SearchString=Inconstitucionalidad")
time.sleep(5)
x = 0
while (x < 5):
print(browser.find_element_by_xpath('//a[contains(text(),"Completo")]')).get_attribute("href")
browser.find_element_by_xpath("//td[2]/a").click() # Click on next button
time.sleep(5)
x += 1
为了获得每页的所有URL,我尝试使用
find_elements_by_xpath()
,但是该函数返回一个列表,并且我收到一条错误消息,指出列表元素没有属性get_attribute
。如果删除get属性部分,则每页会得到10行,但不是url格式。我会得到每个页面的以下格式的列表:
selenium.webdriver.remote.webelement.WebElement对象位于0x7f3621cc6dd0>,selenium.webdriver.remote.webelement.WebElement对象位于0x7f3621cc6d90>,selenium.webdriver.remote.webelement.WebElement对象位于0x7f3621mo.web.webreweb.web.rewebreweb.web。位于0x7f3621cc6f50的WebElement对象>,位于0x7f3621cc6ed0>的selenium.webdriver.remote.webelement.WebElement对象,位于0x7f3621c62210>的selenium.webdriver.remote.webelement.WebElement对象,位于0x7f3621c62210>的selenium.webdriver.remote.1 Webslement.Webelement7位于0x7f3621c6a690的webdriver.remote.webelement.WebElement对象,位于0x7f3621c75950的selenium.webdriver.remote.webelement.WebElement对象,位于0x7f3621c75990的selenium.webdriver.remote.webelement.WebElement对象>
那么,如何构建获取URL然后转到下一页等的循环的正确方法呢?
任何帮助表示赞赏。
最佳答案
这是完整的想法和实现:
从页面底部的段落中获取最大页面数
从当前页面提取链接
从下一页循环到最大页面
在循环中,单击下一页链接并提取链接
笔记:
而不是time.sleep()
优于explicitly wait for the desired element
提取最大数量的页面(在这种情况下为1910
),这里我使用正则表达式\d+ de (\d+)
和capturing group (\d+)
,其中\d+
匹配一位或多位数字
要从多个元素获取href
属性,您只需要遍历它们并在每个元素上调用get_attribute()
(使用下面的"list comprehension")
我不确定您要抓住哪个链接,但是我假设这些是页面上每个块底部的文件链接(指向文件的链接)
码:
import re
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
def extract_data(browser):
links = browser.find_elements_by_xpath('//i[@class="RecordStats"]/a')
return [link.get_attribute('href') for link in links]
browser = webdriver.Firefox()
browser.get("http://www.scba.gov.ar/jurisprudencia/Navbar.asp?Busca=Fallos+Completos&SearchString=Inconstitucionalidad")
# get max pages
element = WebDriverWait(browser, 10).until(EC.presence_of_element_located((By.XPATH, "//p[@class='c'][last()]")))
max_pages = int(re.search(r'\d+ de (\d+)', element.text).group(1), re.UNICODE)
# extract from the current (1) page
print "Page 1"
print extract_data(browser)
# loop over the rest of the pages
for page in xrange(2, max_pages + 1):
print "Page %d" % page
next_page = browser.find_element_by_xpath("//table[last()]//td[last()]/a").click()
print extract_data(browser)
print "-----"
印刷品:
Page 1
[u'http://www.scba.gov.ar/falloscompl/scba/2007/03-16/iniciales.doc', u'http://www.scba.gov.ar/falloscompl/scba/inter/2005/05-26/iniciales.doc', u'http://www.scba.gov.ar/falloscompl/scba/inter/2012/10-31/inicialesb.doc', u'http://www.scba.gov.ar/falloscompl/scba/inter/2006/11-08/i68854.doc', u'http://www.scba.gov.ar/falloscompl/scba/inter/2010/12-15/inicialesrp.doc', u'http://www.scba.gov.ar/falloscompl/scba/2012/07-04/a70660.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/11-24/a69656.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/11-24/a69691.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/11-24/a69693.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/11-24/a69772.doc']
Page 2
[u'http://www.scba.gov.ar/falloscompl/scba/2010/11-24/a69877.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-14/a68974.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a68978.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a68979.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a68982.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a68983.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a69181.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a69588.doc', u'http://www.scba.gov.ar/falloscompl/scba/2004/12-09/p72338.doc', u'http://www.scba.gov.ar/falloscompl/scba/2006/08-16/iniciales.doc']
-----
Page 3
[u'http://www.scba.gov.ar/falloscompl/scba/inter/2010/12-15/rp108872.doc', u'http://www.scba.gov.ar/falloscompl/scba/inter/2007/02-14/i69014-2.doc', u'http://www.scba.gov.ar/falloscompl/scba/2011/05-04/a68445.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a68976.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a68977.doc', u'http://www.scba.gov.ar/falloscompl/scba/2010/07-07/a68981.doc', u'http://www.scba.gov.ar/falloscompl/scba/2004/12-10/iniciales.doc', u'http://www.scba.gov.ar/falloscompl/scba/2014/11-20/iniciales.doc', u'http://www.scba.gov.ar/falloscompl/scba/inter/2013/08-21/a72539.doc', u'http://www.scba.gov.ar/falloscompl/scba/2004/06-23/iniciales.doc']
-----
...
关于python - 如何使用Selenium/Python在分页网站上抓取网址,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/27810198/