python - 将具有多个数据段的csv文件读取到可寻址结构中

我制作了一个csv文件，如下所示：
现在，在我的python文件中，我希望它从food field place列获取数据，该列仅为：

a
b
c
d
e

然后我希望它只从饮料领域获取味觉等方面的数据。
我的问题是：我如何建立一个数据库，它将有类似的“字段”（即：食物/饮料），并且在每个字段中都有我描述的特定单元格地址？

最佳答案

这个问题是非常开放的，所以我将展示两种可能的方法来将这个数据解析成一个可以按照您描述的方式访问的结构。
解决方案1
这段代码使用了更高级的python和库。它在csv读卡器周围使用一个生成器，以便有效地读取数据的多个部分。然后将数据放入每个部分的pandas.DataFrame中。每个数据帧都可以在dict中访问。
数据的访问方式如下：

ratings['food']['taste']

这将给出pandas.Series。常规python列表可以包含：

list(ratings['food']['taste'])

使用生成器将数据读取到熊猫数据帧的代码：

def csv_record_reader(csv_reader):
    """ Read a csv reader iterator until a blank line is found. """
    prev_row_blank = True
    for row in csv_reader:
        row_blank = (row[0] == '')
        if not row_blank:
            yield row
            prev_row_blank = False
        elif not prev_row_blank:
            return

ratings = {}
ratings_reader = csv.reader(my_csv_data)
while True:
    category_row = list(csv_record_reader(ratings_reader))
    if len(category_row) == 0:
        break
    category = category_row[0][0]

    # get the generator for the data section
    data_generator = csv_record_reader(ratings_reader)

    # first row of data is the column names
    columns = next(data_generator)

    # use the rest of the data to build a data frame
    ratings[category] = pd.DataFrame(data_generator, columns=columns)

解决方案2
下面是一个将数据读取到dict的解决方案。可以通过以下方式访问数据：

ratings['food']['taste']

读取csv到dict的代码：

from collections import namedtuple

ratings_reader = csv.reader(my_csv_data)
ratings = {}
need_category = True
need_header = True
for row in ratings_reader:
    if row[0] == '':
        if not (need_category or need_header):
            # this is the end of a data set
            need_category = True
            need_header = True

    elif need_category:
        # read the category (food, drink, ...)
        category = ratings[row[0]] = dict(rows=[])
        need_category = False

    elif need_header:
        # read the header (place, taste, ...)
        for key in row:
            category[key] = []
        DataEnum = namedtuple('DataEnum', row)
        need_header = False

    else:
        # read a row of data
        row_data = DataEnum(*row)
        category['rows'].append(row_data)
        for k, v in row_data._asdict().items():
            category[k].append(v)

测试数据：

my_csv_data = [x.strip() for x in """
    food,,
    ,,
    place,taste,day
    a,good,1
    b,good,2
    c,awesome,3
    d,nice,4
    e,ok,5
    ,,
    ,,
    ,,
    drink,,
    ,,
    place,taste,day
    a,good,1
    b,good,2
    c,awesome,3
    d,nice,4
    e,ok,5
""".split('\n')[1:-1]]

要从文件中读取数据：

with open('ratings_file.csv', 'rb') as ratings_file:
    ratings_reader = csv.reader(ratings_file)

关于python - 将具有多个数据段的csv文件读取到可寻址结构中，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/42031684/