我已经在多个熊猫数据框中处理了原始数据。每个数据框包含单个用户数据以及他们按时间序列单击的社交网络。每个数据框大致代表一两年，我希望在处理后将所有数据合而为一。
在循环内部，我首先将每个数据帧转换为以下结构以获得聚合数据。
year month social_clicks, Gender
0 2010 01 google, yahoo, google, google, facebook, facebook, m,f,m
1 2010 02 facebook, yahoo, google, google, facebook, facebook, m,f,m
2 2010 03 yahoo, yahoo, google, google, facebook, facebook, f,f,m
3 2010 04 google, yahoo, google, twitter, facebook, facebook, f,f,f
4 2010 05 facebook, yahoo, google, google, facebook, facebook, m,f,m
5 2010 06 twitter, yahoo, google, twitter, facebook, google, m,f,f
最终目标是将上述时间序列数据处理为以下数据帧结构。
year month google yahoo facebook twitter M F
0 2010 01 3 1 2 0 2 1
1 2010 02 2 1 3 0 2 1
2 2010 03 2 2 2 0 1 2
我遍历包含所有单个数据帧的列表，同时将它们转换为上述聚合结构。我想并行化此过程以加快处理速度。
pre_processed_dfs = []
finalized_dfs = []
for frame in pre_processed_dfs:
## Calculate the gender per month
gender_df = frame.groupby(['year','month'])['Gender'].apply(
lambda x: ','.join(x)).reset_index()
df_gender = gender_df.Gender.str.split(',', expand=True)
df_gender = pd.get_dummies(df_gender, prefix='', prefix_sep='')
df_gender = df_gender.groupby(df_gender.columns, axis=1).sum()
df_gender_agg = pd.concat([gender_df, df_gender], axis=1)
df_gender_agg.drop('Gender', axis=1, inplace=True)
## construct data frame to maintain monthly social clicks
social_df = frame.groupby(['year','month'])['social_clicks'].apply(
lambda x: ','.join(x)).reset_index()
df = social_df.social_clicks.str.split(',', expand=True)
df = pd.get_dummies(df, prefix='', prefix_sep='')
df = df.groupby(df.columns, axis=1).sum()
social_df_agg = pd.concat([social_df, df], axis=1)
social_df_agg.drop('social_clicks', axis=1, inplace=True)
social_df_agg.set_index(['year', 'month'], inplace=True)
df_gender_agg.set_index(['year', 'month'], inplace=True)
social_gender_df = pd.merge(social_df_agg, df_gender_agg, left_index=True, right_index=True)
social_gender_df.reset_index(level=social_gender_df.index.names, inplace=True)
finalized_dfs.append(social_gender_df)
final_df = pd.concat(finalized_dfs)
当我使用较小的数据集运行时，上述过程会很快完成。但是，当我切换为使用实际数据集运行时，过程实际上要花费很长时间。我认为最耗时的部分是我拆分和加入以及进行合并的部分。
我可以并行化此过程吗？我可以将列表中每个数据帧的处理移交给一个线程。除此之外，我还可以加快此循环中的联接和合并。
我正在查看CPU和内存使用情况：
PID COMMAND %CPU TIME #TH #WQ #PORT MEM PURG CMPRS PGRP PPID STATE BOOSTS %CPU_ME %CPU_OTHRS UID
4565 python2.7 99.9 14:56:32 9/1
我还曾在重设索引后将语句之一打印在for循环的顶部，而另一则未打印代码。
最佳答案
这应该是
df.set_index(['year', 'month']) \
.iloc[:, 0].str.split(r',\s*').apply(pd.value_counts).fillna(0).reset_index()