python - 将具有相同类名的div中的内容爬到数组中[Python]

我一直在开发JavaScript了一段时间，但是Python仍然让我感到新鲜。我正在尝试使用Python从一个简单的网页上抓取内容（基本上是一个包含不同部分的产品列表）。内容是动态生成的，因此为此使用硒模块。

内容结构类似于以下几个产品部分：

<div class="product-section">
    <div class="section-title">
        Product section name
    </div>
    <ul class="products">
        <li class="product">
            <div class="name">Wooden Table</div>
            <div class="price">99 USD</div>
            <div class="color">White</div>
        </li>
    </ul>
</div>

用于抓取产品的Python代码：

driver = webdriver.Chrome()
driver.get("website.com")
names = driver.find_elements_by_css_selector('div.name')
prices = driver.find_elements_by_css_selector("div.price")
colors = driver.find_elements_by_css_selector('div.color')

allNames = [name.text for name in names]
allPrices = [price.text for price in prices]
allColors = [color.text for color in colors]

现在，我获得了所有产品的属性（请参见下文），但无法将它们与不同部分分开。

目前的结果
木桌，99 USD，白色
草地椅，39美元，黑色
帐篷-4人，299美元，迷彩
等等

期望的结果：
户外家具
木桌，99 USD，白色
草地椅，39美元，黑色

露营装备
帐篷-4人，299美元，迷彩
热水瓶，19美元，金属


最终目标是将内容输出到excel产品列表中，因此为什么我需要将这些部分分开（带有匹配的部分标题）。任何想法，即使它们具有相同的类名，如何将它们分开？

最佳答案

您快到了-将产品按部分分组，然后从一个部分开始并找到其中的所有元素。至少您的示例html暗示其结构允许它。

根据您的代码，这是一个带有解释性注释的解决方案。

driver = webdriver.Chrome()
driver.get('website.com')

# a dict where the key will be the section name
products = {}

# find all top-level sections
sections = driver.find_elements_by_css_selector('div.product-section')

# iterate over each one
for section in sections:
    # find the products that are children of this section
    # note the find() is based of section, not driver
    names = section.find_elements_by_css_selector('div.name')
    prices = section.find_elements_by_css_selector('div.price')
    colors = section.find_elements_by_css_selector('div.color')

    allNames = [name.text for name in names]
    allPrices = [price.text for price in prices]
    allColors = [color.text for color in colors]

    section_name = section.find_element_by_css_selector('div.section-title').text

    # add the current scraped section to the products dict
    # I'm leaving it to you to match the name, price and color of each ;)

    products[section_name] = {'names': allNames,
                              'prices': allPrices,
                              'colors': allColors,}

# and here's how to access the result

# get the 1st name in a section:
print(products['Product section name']['names'][0])  # will output "Wooden Table"

# iterate over the sections and products:
for section in products:
    print('Section: {}'.format(section))
    print('All prices in the section:')
    for price in section['prices']:
       print(price)