python pandas read_csv无法读取双引号两次的字符

我正在尝试使用带有双引号的半列分隔符的2列csv文件(error.csv):

col1;col2
2016-04-17_22:34:25.126;"Linux; Android"
2016-04-17_22:34:25.260;"{"g":2}iPhone; iPhone"

我正在尝试:

logs = pd.read_csv('error.csv', na_values="null", sep=';',
                   quotechar='"', quoting=0)

我知道问题出在第3行的双引号中有双引号“g”，但我不知道该如何处理。有任何想法吗 ？

最佳答案

您可能需要对数据进行预处理，以使其符合预期的CSV格式。我怀疑pandas是否会通过更改一个或两个参数来处理此问题。

如果只有两列，并且第一列从不包含分号，则可以在第一个分号上拆分行:

records = []
with open('error.csv', 'r') as fh:
    # first row is a header
    header = next(fh).strip().split(';')

    for rec in fh:
        # split only on the first semi-colon
        date, dat = rec.strip().split(';', maxsplit=1)
        # assemble records, removing quotes from the second column
        records.append((date, dat.strip('"')))

# create a data frame
df = pandas.DataFrame.from_records(records, columns=header)

如果希望第一列包含正确的日期而不是字符串，则必须使用datetime模块自己手动解析日期。

关于python pandas read_csv无法读取双引号两次的字符，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/36897275/