python - 如何在通过网络抓取创建的json文件中组织数据

我正在尝试从Yahoo新闻获取文章标题并将其组织在json文件中。当我将数据转储到json文件时，它看起来让人难以理解。在转储之后还是从头开始，我将如何组织数据？

这是一个用于Web抓取项目的项目，在该项目中，我必须获取热门新闻文章及其正文，并将其导出到json文件，然后可以将其发送到其他人的程序。目前，我只是在从Yahoo Finance主页获取标题。

import requests
import json
from bs4 import BeautifulSoup

#Getting webpage
page = requests.get("https://finance.yahoo.com/")
soup = BeautifulSoup(page.content, 'html.parser') #creating instance of class to parse the page
#Getting article title
title = soup.find_all(class_="Mb(5px)")
desc = soup.find_all(class_="Fz(14px) Lh(19px) Fz(13px)--sm1024 Lh(17px)--    sm1024 LineClamp(3,57px) LineClamp(3,51px)--sm1024 M(0)")
#Getting article bodies
page2 = requests.get("https://finance.yahoo.com/news/warren-buffett-suggests-read-19th-204800450.html")
soup2 = BeautifulSoup(page2.content, 'html.parser')
body = soup.find_all(class_="canvas-atom canvas-text Mb(1.0em) Mb(0)--sm
Mt(0.8em)--sm", id="15")


#Organizing data for export
data = {'title1': title[0].get_text(),
    'title2': title[1].get_text(),
    'title3': title[2].get_text(),
    'title4': title[3].get_text(),
    'title5': title[4].get_text()}

#Exporting the data to results.json
with open("results.json", "w") as write_file:
  json.dump(str(data), write_file)

这就是最终写在json文件上的内容（在撰写本文时）：

"{'title1': 'These US taxpayers face higher payments thanks to new law',
'title2': 'These 12 Stocks Are the Best Values in 2019, According to Pros
Who\u2019ve Outsmarted the Market', '\\ntitle3': 'The Best Move You Can
Make With Your Investments in 2019, According to 5 Market Professionals',
'title4': 'The auto industry said goodbye to a lot of cars in 2018',
'title5': '7 Stock Picks From Top-Rated Wall Street Analysts'}"

我想编码以单独的一行显示每个文章标题，并删除中间出现的随机'\'。

最佳答案

我已经运行了您的代码，但没有得到像您一样的任何结果。您已经定义了'title3'这是一个常量，但是您得到的'\ n'实际上并不是我的情况。顺便说一句，您之所以得到/，是因为您未像'utf8'那样正确编码，并且ascii确保将其设置为false。我建议两个类似的更改-'lxml'解析器而不是'html.parser'和以下代码片段：

with open("results.json", "w",encoding='utf8') as write_file:
    json.dump(str(data), write_file ,ensure_ascii=False)

这对于我的排除和ASCII问题也完全起作用。

关于python - 如何在通过网络抓取创建的json文件中组织数据，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53997705/