根据评论更新(2018/11/06):

这是我正在使用的实际.csv文件(从原始帖子中略有扩展)。假设我无法更改.csv文件的格式,该怎么办

(a)获得一系列参加“测验1”的学生和分数?

(b)重组数据以使其更易于获取(a)

Year,2017
Class,A
Test,1
Bob,71
Cathy,72
,
Test,2
Steve,73
Janet,74
,
,
Class,B
Test,1
Jim,75
Pam,76
,
Test,2
Linus,77
Lucy,78
,
,
,
Year,2018
Class,A
Test,1
Charles,79
Cindy,80
,
Test,2
Stanley,81
Kari,82
,
,
Class,B
Test,1
Duke,83
Amy,84
,
Test,2
Craig,85
Valerie,86


-------------------------------------------------- --------------

原始帖子:

假设我有以下数据框:

import pandas as pd
data = [['Class A'],['Test 1'],['Bob',87],['Cathy',88],['Test 2'],['Steve',82],['Janet',81],['Class B'],['Test 1'],['Jim',92],['Pam',95],['Test 2'],['Linus',73],['Lucy',70]]
df = pd.DataFrame(data)
print(df)


哪个产量

          0     1
0   Class A   NaN
1    Test 1   NaN
2       Bob  87.0
3     Cathy  88.0
4    Test 2   NaN
5     Steve  82.0
6     Janet  81.0
7   Class B   NaN
8    Test 1   NaN
9       Jim  92.0
10      Pam  95.0
11   Test 2   NaN
12    Linus  73.0
13     Lucy  70.0


是否可以选择参加测试1的两个班级的学生所获得的分数?即

Bob  87.0
Cathy  88.0
Jim  92.0
Pam  95.0


谢谢!

最佳答案

编辑:将数据从给定的源文件导入到结构化的数据帧中,以便能够访问方便的分析功能:

想法是遍历文本文件的各行。
  -我假设每行由两个逗号分隔的字符串组成。
  -具有第一行的“ Year”,“ Class”和“ Test”之一的每一行仅用于更新保存这三个值的当前集合的dict。
  -所有其他行都用于将其数据以及年,类别和测试信息附加到列表data
  -第一个字符串为空字符串的行除外。

with open('no_csv.txt', 'r') as f:
    Idx = {'Year': None, 'Class': None, 'Test': None}
    data = []
    for line in f:
        key, value = line.strip().split(',')
        if key in Idx.keys():
            Idx[key] = value
        elif key != '':
            data.append(list(Idx.values()) + [key, value])
df = pd.DataFrame(data, columns=['Year', 'Class', 'Test', 'Name', 'Points'])


df

    Year Class Test     Name Points
0   2017     A    1      Bob     71
1   2017     A    1    Cathy     72
2   2017     A    2    Steve     73
3   2017     A    2    Janet     74
4   2017     B    1      Jim     75
5   2017     B    1      Pam     76
6   2017     B    2    Linus     77
7   2017     B    2     Lucy     78
8   2018     A    1  Charles     79
9   2018     A    1    Cindy     80
10  2018     A    2  Stanley     81
11  2018     A    2     Kari     82
12  2018     B    1     Duke     83
13  2018     B    1      Amy     84
14  2018     B    2    Craig     85
15  2018     B    2  Valerie     86


请注意,此代码依赖于字典中的有序键,这是从Python 3.7开始的普通dict中实现的。要在Python 3.6或更低版本中确保这一点,应使用OrderedDict

from collections import OrderedDict
Idx = OrderedDict(Year=None, Class=None, Test=None)




重组以更好地处理

我建议重组您的数据框。如果您严格定义列的含义,则会得到例如像这样:

data = [
['Class A', 'Test 1', 'Bob', 87],
['Class A', 'Test 1', 'Cathy', 88],
['Class A', 'Test 2', 'Steve', 82],
['Class A', 'Test 2', 'Janet', 81],
['Class B', 'Test 1', 'Jim', 92],
['Class B', 'Test 1', 'Pam', 95],
['Class B', 'Test 2', 'Linus', 73],
['Class B', 'Test 2', 'Lucy', 70]]

df = pd.DataFrame(data)

         0       1      2   3
0  Class A  Test 1    Bob  87
1  Class A  Test 1  Cathy  88
2  Class A  Test 2  Steve  82
3  Class A  Test 2  Janet  81
4  Class B  Test 1    Jim  92
5  Class B  Test 1    Pam  95
6  Class B  Test 2  Linus  73
7  Class B  Test 2   Lucy  70


在数据框中具有此结构,您只需询问所有行,其中测试列为Test 1

df[df[1]=='Test 1']

         0       1      2   3
0  Class A  Test 1    Bob  87
1  Class A  Test 1  Cathy  88
4  Class B  Test 1    Jim  92
5  Class B  Test 1    Pam  95


通过使用列名进行更细化的数据

而且由于熊猫数据框可能具有列名,因此您甚至可以通过为列指定一个有意义的名称来描述存储在其中的数据,从而使其更具可读性并减少冗余数据:

data = [
['A', 1, 'Bob', 87],
['A', 1, 'Cathy', 88],
['A', 2, 'Steve', 82],
['A', 2, 'Janet', 81],
['B', 1, 'Jim', 92],
['B', 1, 'Pam', 95],
['B', 2, 'Linus', 73],
['B', 2, 'Lucy', 70]]

df = pd.DataFrame(data, columns=['Class', 'Test', 'Name', 'Points'])

df[df.Test==1]

  Class  Test   Name  Points
0     A     1    Bob      87
1     A     1  Cathy      88
4     B     1    Jim      92
5     B     1    Pam      95


通过这样做,您可以获得进一步的分析...

像这样的数据结构为您可能想回答的下一个明显问题提供了非常方便的熊猫功能的访问权限,例如:

每个课程每个班的平均分数是多少?

df.groupby(['Class', 'Test']).mean()

            Points
Class Test
A     1       87.5
      2       81.5
B     1       93.5
      2       71.5


谁是每个班级中最好的一位?

df.loc[df.groupby(['Class', 'Test']).Points.idxmax()]

  Class  Test   Name  Points
1     A     1  Cathy      88
2     A     2  Steve      82
5     B     1    Pam      95
6     B     2  Linus      73

09-26 20:48
查看更多