python - 从网站抓取表格时遇到问题？

我正在从该网站提取表格。尽管我匹配了xpaths并发现了表中的字段，但是我无法从站点中提取任何内容，这就是我的蜘蛛的样子：

# -*- coding: utf-8 -*-
import scrapy
from table.items import TableItem


class Table(scrapy.Spider):
    name = "table1"
    start_urls = (
        'wesite.com',
    )
    #//div[4]//div[1]//div[1]//table[1]
    #
    def parse(self, response):
        sites = response.xpath('//*[@id="tabs-1"]/table//tr')[1:-2]
        print('\n***********************************\n',sites)

        for site in sites:
            item = TableItem()
            item['col1'] = site.xpath('td[1]/text()').extract()
            item['col2'] = site.xpath('td[2]/text()').extract()
            yield item
            print('\n**********\n',item)

我想我的主要问题是这一行：

sites = response.xpath('//*[@id="tabs-1"]/table[1]/tr')

我实际上可以检索内容。但是，它具有很大的重复不正确格式（格式错误）。关于如何获取表格的任何想法？

最佳答案

有时，浏览器在渲染时会添加自己的DOM元素。对于给定的站点，正确的xpath选择器是response.xpath('//*[@id="tabs-1"]/table//tr')来查找表行。

编辑：添加代码以从表中获取正确的元素

# -*- coding: utf-8 -*-
import scrapy
from table.items import TableItem


class Table(scrapy.Spider):
    name = "table1"
    start_urls = (
        'http://www.accessdata.fda.gov/scripts/drugshortages/default.cfm#tabs-1',
    )

    def parse(self, response):
        sites = response.xpath('//*[@id="tabs-1"]/table//tr')

        for site in sites:
            item = TableItem()
            item['col1'] = site.xpath('td/a/text()').extract_first()
            col2 = site.xpath('td/em/strong/text()')
            if col2:
                item['col2'] = site.xpath('td/em/strong/text()')[0].extract().strip()
            else:
                item['col2'] = 'Not Available'
            yield item