Pandas是基于NumPy的一种数据分析工具,提供了大量使我们快速便捷处理数据的函数和方法。
中文官网地址:https://www.pypandas.cn
Pandas基于两种数据类型:Series数组与DataFrame数据表。
Series对象(带索引index的一维数组)
import pandas as pd
from pandas import Series,DataFrame
import numpy as np
#创建Series数组
list1 = [1,2,3,4]
sel = Series(list1) #默认索引为从0开始的序列
sel = Series(data = [1,2,3,4],index = list('abcd')) #创建Series对象并创建索引 print(sel.values)#.values 拿到series中数据
print(sel.index)# .index 拿到series中索引
print(list(sel.iteritems()))#.iteritems()拿到series中键值对 #Series结构类似字典
#将字典转换为Series
dic = {"red":"100","black":"400","green":"300"}
se2 = Series(dic) #修改Series索引值
se1.index = list('dcba') #直接修改原Series的索引
#.reindex 返回一个新的Series 重新排序 缺失值用nan代替
se2 = se1.reindex(['a','b','c','d','e']) #Series值的获取,可通过索引和下标两种方式。
print(se1['b']) #通过index值获取
print(sel[1]) #通过下标
#通过切片获取值
print(se1[0:2]) #通过下标,左包含右不包含。
print(se1['a':'c']) #通过索引,左右都包含。
DataFrame对象(DataFrame是一种二维数据表结构,分为若干列和行,行索引index,列索引columns)
DataFrame的创建
df1 = DataFrame(np.random.randint(0,10,(4,4)),index = [1,2,3,4],columns = ['a','b','c','d']) #通过二维数组创建,指定参数Data,index和columns。 #通过字典创建DataFrame
dict = {
'province':['Guangzhou','Beijing','Shanghai','Fujian'],
'pop':[1.3,2.5,1.1,0.7],
'year':[2018,2018,2018,2018]
}
df2 = DataFrame(dict,index = [1,2,3,4])#字典中的key为列索引。
DataFrame中常用属性和方法
print(df.shape) #行数和列数
print(df.index.tolist()) #获取行索引
print(df.columns.tolist()) #获取列索引
print(df.ndim)#获取维度
print(df.info()) #.info()方法展示概述
print(df.head(2)) #显示头几行
print(df.tail(1)) #显示后几行
获取DataFrame数据
#获取DataFrame列 print(df['pop']) #获取列,每列都是Series对象 print(df[['pop','year']]) #获取多列 #获取DataFrame行 print(df[0:2]) #通过行下标切片的方式获取行 #通过loc和iloc方法获取数据 #.loc通过索引获取数据 #.loc获取列,切片方式。 df.loc[:,'pop'] #获取单列
df.loc[:,'pop':'province'] #通过切片获取连续列 #.loc获取行 df.loc[1] #获取单行
df.loc[1,:] #获取单行
df.loc[1:3,] #获取连续行,左右都包含。 #.iloc通过位置下标获取数据 df.iloc[0:2,0:2]
DataFrame修改index和columns
df = DataFrame(np.arange(9).reshape(3,3),index = ['bj','sh','gz'],columns = ['a','b','c']) df.index = ['beijing','shanghai','guangzhou'] #直接修改属性值 df1 = df.rename(index = {'bj':"beijing"},columns = {'a':'A'}) #通过.rename方法修改index和columns
DataFrame中将列转换为行索引
df1 = DataFrame({"x":range(5),"y":range(5),'s':list("abcde"),"z":[1,2,3,4,5]}) #result = df1.set_index('s',drop = False) #将s列转换为行索引drop = False 保留作为索引的列
result = df1.set_index('s') result.index.name = None #通常将数据库中数据取出后 将id作为行索引
print(result)
s x y z
0 a 0 0 1
1 b 1 1 2
2 c 2 2 3
3 d 3 3 4
4 e 4 4 5
x y z
a 0 0 1
b 1 1 2
c 2 2 3
d 3 3 4
e 4 4 5
DataFrame中添加列
#在末尾直接添加列
df = pd.DataFrame([['snow','m',22],['tyrion','m',32],['sansa','f',18],['arya','f',14]],columns = ['name','gender','age']
df['score'] = [80,98,67,90] #在末尾添加一列
#通过添加列索引的方法添加列
column_name = df.columns.tolist() #将列名转换为列表
column_name.insert(2,'city') #在列表指定位置插入新的列索引
df = df.reindex(columns = column_name)#通过.reindex方法更新索引
df['city'] = ['beijing','shanxi','hubei','aomen'] #添加数据
#通过DataFrame中.insert方法添加列
df.insert(2,'score',[80,90,67,90]) #dataframe 提供insert方法 在指定位置添加列
DataFrame中添加行
#通过.append方法添加行
df = pd.DataFrame([['snow','m',22],['tyrion','m',32],['sansa','f',18],['arya','f',14]],columns = ['name','gender','age']
row = pd.DataFrame({'name':'fy','gender':'m','age':23},index = [0]) #生成带添加的行
df = df.append(row,ignore_index = True) #ignore_index = True 按照原来的索引
DataFrame创建多层索引
#1
df = pd.DataFrame(np.random.randint(0,150,size = (6,4)),
columns = ['zs','ls','ww','zl'],
index = [['a','a','b','b','c','c'],['期中','期末','期中','期末','期中','期末']]) #2
class1 = ['a','a','b','b','c','c']
class2 = ['期中','期末','期中','期末','期中','期末']
m_index2 = pd.MultiIndex.from_arrays([class1,class2])
df2 = pd.DataFrame(np.random.randint(0,150,(6,4)),index = m_index2) #3
class2 = ['a','b','c']
class1 = ['期中','期末']
m_index2 = pd.MultiIndex.from_product([class1,class2])
df3 = pd.DataFrame(np.random.randint(0,150,(6,4)),index = m_index2) 0 1 2 3
期中 a 79 22 5 2
b 47 44 25 80
c 40 61 131 60
期末 a 127 46 144 44
b 24 128 110 81
c 79 133 33 18
Tips:Pandas内容很多,还包括时间序列和分组聚合等,在实例中熟悉。
2020-04-04 16:28