python - 在Selenium中抓取多个URL并写入JSON

我在用硒做刮刀。
我已经编写了脚本，并且它正在正确地刮除，但是我正在尝试刮除多个URL，然后将结果写入JSON。
脚本会成功地进行刮片和打印，但是在JSON中我只得到一个结果，即第二个URL的详细信息（打印时我得到两个结果）。
如何获取两个URL的结果？
我想我需要为JSON数据添加另一个FOR循环，但是不知道如何添加它！
这是我正在使用的代码：

# -*- coding: UTF-8 -*-
from selenium import webdriver
import time
import json

def writeToJSONFile(path, fileName, data):
    filePathNameWExt = './' + path + '/' + fileName + '.json'
    with open(filePathNameWExt, 'a') as fp:
        json.dump(data, fp, ensure_ascii=False)

browser = webdriver.Firefox(executable_path="/Users/path/geckodriver")

urls = ['https://www.tripadvisor.co.uk/Restaurant_Review-g186338-d8122594-Reviews-Humble_Grape_Battersea-London_England.html','https://www.tripadvisor.co.uk/Restaurant_Review-g186338-d5561842-Reviews-Gastronhome-London_England.html']

data = {}
for url in urls:

    browser.get(url)
    page = browser.find_element_by_class_name('non_hotels_like')
    title = page.find_element_by_class_name('heading_title').text
    street_address = page.find_element_by_class_name('street-address').text

    print(title)
    print(street_address)


data = {}
data['title'] = title
data['street_address'] = street_address

filename = 'properties'
writeToJSONFile('./', filename, data)

browser.quit()

最佳答案

您正在尝试将具有相同键的值添加到字典，而Python dict只能包含唯一键！所以你不用写第二个，而只是重写它。与title相同
您可以尝试将数据保存为字典列表：

data = []

for url in urls:
    browser.get(url)
    page = browser.find_element_by_class_name('non_hotels_like')
    title = page.find_element_by_class_name('heading_title').text
    street_address = page.find_element_by_class_name('street-address').text

    print(title)
    print(street_address)

    data.append({'title': title, 'street_address': street_address})