一.索引的堆(stack)

1.行列的转化:

Stack():列转行

Unstack():行转列

Stack对应行,

使用小技巧:使用stack()的时候,level等于哪一个,哪一个就消失,出现在行里。

使用UNstack的时候,level等于哪一个,哪一个就消失,出现在列里。

如:

原来:A:

pandas的数据联级-LMLPHP

现在:A.stack(level=0).unstack(level=0).unstack(level=0)执行后

pandas的数据联级-LMLPHP

二.多层索引的聚合操作

所谓的操作是指:平均数mean()、方差std()、最大数max()、最小值min()等.....

注意:需要指定axis

小技巧:和unstack()相反,聚合操作的时候,axis等于哪一个,哪一个就保留

求平均值:

重点是axis和level的组合

A.mean(axis=0,level=1)

pandas的数据联级-LMLPHP

求方差:

df.std(asis=x,level=y)

方差是衡量随随机变量或一组数据时离散程度的度量。

A.std(axis=0,level=0)

pandas的数据联级-LMLPHP

Pandas的拼接操作

1.联级:pd.concal,pd.append

 

(1)使用pd.concat()级联

Pandas使用pd.concat()函数,与np.concatenate函数类似,只是多了一些参数

dp.concat(['objs', 'axis=0', "join='outer'", 'join_axes=None', 'ignore_index=False', 'keys=None', 'levels=None', 'names=None', 'verify_integrity=False', 'sort=None', 'copy=True'])

Concat()此方法默认增加行数,即样本。通过设置axis进行行方向或是列方向的级联。

如:

行方向级联:

pandas的数据联级-LMLPHPpandas的数据联级-LMLPHP

pd.concat([df1,df2],axis=0)

pandas的数据联级-LMLPHP

进行列方向级联

df3:pandas的数据联级-LMLPHP

pd.concat([df1,df3],axis=1)

pandas的数据联级-LMLPHP

Pandas中的参数:

['objs', 'axis=0', "join='outer'", 'join_axes=None', 'ignore_index=False', 'keys=None', 'levels=None', 'names=None', 'verify_integrity=False', 'sort=None', 'copy=True']

Jgnore_index:

默认:False
如果为T,忽视给定的索引值,用1,2,3,4,.....代替,当然在操作时,以前给定的索引值失效。

如:pd.concat([df1,df2],ignore_index=True)

Keys:

序列,默认没有
如果传递了多个级别,则应该包含元组。构造使用传递的键作为最外层的分层索引

如:pd.concat([df1,df1],keys=["期中","期末"])

Join:

默认join=”outer”

Outer指合并除了公有列还合并非共有列

Inner指只合公有列

如:

pd.concat([df1,df5],join="outer")

pd.concat([df1,df5],join="inner")

Join_axes

当两张表中数据有部分列不同时,可以设置join_axes根据那个表中的列进行合并

如:pd.concat([df1,df5],join_axes=[df5.columns])

(2)使用append()追加

df1.append(df2)

  1. 合并:pd.merge,pd.join

(1)Merge:融合

A.参数:

['right', "how='inner'", 'on=None', 'left_on=None', 'right_on=None', 'left_index=False', 'right_index=False', 'sort=False', "suffixes=('_x', '_y')", 'copy=True', 'indicator=False', 'validate=None']

根据表中的属性值相同进行融合

Merge与concat的区别

merge需要依据某一共同的行或者列进行合并,使用pd.merge()合并时,会自动根据两者形同的column名称的那一列,作为key来进行合并。注意每一列元素的顺序不要求一致。

B.一对一合并

如:

df6 = DataFrame({"省":["北京","山东","河北"],"大学":["清华","山大","河大"],"人口":[1200,200,1000]})

df7 = DataFrame({"省":["北京","上海","河北"],"大学":["清华","复旦","河大"],"人口":[1200,1220,1000]})

df6.merge(df7)

pandas的数据联级-LMLPHP

C.多对一合并

Df8 = DataFrame({"省":["北京","山东","北京"],"大学":["清华","山大","北大"]})

Df9 = DataFrame({"省":["北京","上海","河北"],"人口":[1200,1220,1000]})

Df8.merge(df9)

pandas的数据联级-LMLPHP

D.多对多合并

df6 = DataFrame({"省":["北京","山东","北京"],"大学":["清华","山大","北大"]})

df7 = DataFrame({"省":["北京","上海","北京"],"人口":[1200,1220,1000]})

df6.merge(df7)

pandas的数据联级-LMLPHP

E.Key的规范化

使用on=显示指定那一列为key,当有多个key相同时使用

如:

df6 = DataFrame({"id":[1,3,5],"name":["A","B","C"],"salary":[1200,200,1000]})

df7 = DataFrame({"id":[5,3,1],"name":["A","C","D"],"age":[1200,1220,1000]})

df6.merge(df7,on="id",suffixes=["_曾用名","_现用名"]) #指定根据id进行合并

pandas的数据联级-LMLPHP

使用left_on和right_on指定左右两边的列作为key,当左右两边的key都不相等时使用

如:

df6 = DataFrame({"id":[1,3,5],"salary":[1200,200,1000]})

df7 = DataFrame({"ID":[5,3,1],"age":[23,34,42]})

df6.merge(df7,left_on = "id",right_on = "ID")

pandas的数据联级-LMLPHP

内合并与外合并

内合并:只保留两者都有的key(默认模式)

How = “inner”

外合并:how = “outer”,补nan

左合并,右合并:how=”left”,how=”right”

G.列冲突的解决

当列冲突时,即有多个列名称相同时,需要使用on=来指定哪一个作为key,配合suffixes指定冲突列名,可以使用suffixes=自己指定的列名

Left_index=,right_index=,是否使用索引

如:将总分列添加到总表中

s = df1.sum(axis=1)

df0 = DataFrame(s,columns=["总分"])

df1.merge(df0,left_index=True,right_index=True)

pandas的数据联级-LMLPHP

05-16 08:51