我有一个数据框架,我想把它转换成一个多维数组,使用其中一列作为第三维度。
例如:
df = pd.DataFrame({
'id': [1, 2, 2, 3, 3, 3],
'date': np.random.randint(1, 6, 6),
'value1': [11, 12, 13, 14, 15, 16],
'value2': [21, 22, 23, 24, 25, 26]
})
我想把它转换成三维数组,其尺寸(ID、日期、值)如下:
问题是“id”的出现次数不同,因此我无法使用
np.reshape()
。对于这个简化的示例,我可以使用:
ra = np.full((3, 3, 3), np.nan)
for i, value in enumerate(df['id'].unique()):
rows = df.loc[df['id'] == value].shape[0]
ra[i, :rows, :] = df.loc[df['id'] == value, 'date':'value2']
要产生所需的结果:
但原始数据帧包含数百万行。
是否有一种矢量化的方法来共犯同样的结果?
最佳答案
进近1
这里有一个矢量化的方法,按照@yannis在评论中的建议,对col进行排序-
count_id = df.id.value_counts().sort_index().values
mask = count_id[:,None] > np.arange(count_id.max())
vals = df.loc[:, 'date':'value2'].values
out_shp = mask.shape + (vals.shape[1],)
out = np.full(out_shp, np.nan)
out[mask] = vals
进近2
另一个
id
不需要任何预排序-x = df.id.factorize()[0]
y = df.groupby(x).cumcount().values
vals = df.loc[:, 'date':'value2'].values
out_shp = (x.max()+1, y.max()+1, vals.shape[1])
out = np.full(out_shp, np.nan)
out[x,y] = vals