十分钟掌握Pandas(上)——来自官网API

一、numpy和pandas

numpy是矩阵计算库,pandas是数据分析库,关于百度百科,有对pandas的介绍。

pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。

二、数据类型

ndArray相当于n维矩阵Series(类似一维数组,或者kv值对)
在numpy中只有ndArray一种,但是ndArray有很多种数据类型DataFrame(使用csv读入数据是dataFrame)

二、官网API

2.1.Object craetion

因为pandas基于numpy进行开发,所以,我们要引入pandas的同时进行引入numpy

import numpy as np
import pandas as pd

我们创建一个integer索引的Series

s = pd.Series([1,3,5,np.nan,6,8])
print(s)

创建一个DataFrame类型,使用NumPy的数组,index是行,columns是列

df = pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
print(df)

这边是另一种创建方式

df2 = pd.DataFrame({
'A':1.,
'B':pd.Timestamp('20130102'),
'C':pd.Series(1,index=list(range(4)),dtype='float32'),
'D':np.array([3]*4,dtype='int32'),
'E':pd.Categorical(["test","train","test","train"]),
'F':'foo'
})
print(df2)

我们从头查看,或者从尾查看

df.head()
df.tail(3)

Series使用to_numpy()转换为ndArray格式

df.to_numpy()

我们的DataFrame格式,也可以使用to_numpy()进行转换

df2.to_numpy()

使用df.describe进行查看DataFrame的属性

df.describe()

使用T属性,可以查看DataFrame的转置

df.T

使用sort_index可以进行按照索引行列进行排序,指定axis维度为0按照列进行排序,指定axis维度为1按照行进行排序,ascending为False为逆序排序,True为正序进行排序

df.sort_index(axis=1,ascending=False)

按照值进行排序

df.sort_values(by='B')
2.2.Selection

注意,我们标准的Python/Numpy表达选择是直接查看,如果我们数据量庞大,则会使用.at,.iat,.loc和.iloc进行间接获取数据

Getting

直接获取一个列

df['A']

切片获取

df[0:3]

Selection by label

获取标签行

df.loc[dates[0]]
2.3.Select by position

通过索引位置进行获取

df.iloc[3]

位置仍然可以通过行列或者切片方式

2.4.Boolean indexing

布尔选择器

df[df.A>0]

我们可以通过isin()方法进行过滤pandas表

df2=df.copy()//拷贝
df2['E']=['one','two','three','four','five']//插入新列
df2[df2['E'].isin('two','three')] //进行选择过滤
2.5.Setting

设置一个新列进行设置

我们的一个列相当于一个Series格式,现在我们发现Pandas的行相当于一个二维的Series进行封装

s1 = pd.Series([1,2,3,4],index=pd.date_range('20130102',periods=4))
df['F']=s1

通过标签进行设置值

df.at[dates[0],'A']=0

通过值来进行定位

df.iat[0,1]=0
2.6.Missing data

缺失数据值,pandas 最初使用np.nan进行代表缺失值,比如无法计算,会使用Nan进行代替

reindex重建方法

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])

去掉丢失数据的行

df1.dropna(how='any')

填充缺失的数据

df1.fillna(value=5)

bool判断是否为na

df1.isna(df1)
2.7.operations

求平均,axis设置为0,1为根据行或者列进行求平均

df.mean(0)
df.mean(1)

去掉前两个值,下次依次执行了2次shift,去掉了前面四个值

s=pd.Series([1,3,5,np.nan,6,8],index=dates)
s=s.shift(2)
s=s.shift(2)
s
05-20 15:55