一. 缺失值的检测
pandas中None或NaN代表缺失值,检测缺失值的常用方法包括isnull,nonull,isna,notna
方法 | 说明 |
---|---|
isnull() | 若返回的值为True,说明存在缺失值 |
nonull() | 若返回的值为False,说明存在缺失值 |
isna() | 若返回的值为True,说明存在缺失值 |
notna() | 若返回的值为False,说明存在缺失值 |
import pandas as pd
import numpy as np
na_df=pd.DataFrame({
"A":[1,2,np.NAN,4],
"B":[2,34,4,np.NAN],
"C":[2,345,np.NAN,2],
"D":[4,5,np.NAN,np.NAN]
})
print(na_df)
#使用isna()方法检测是否存在缺失值
na_df.isna()
二. 缺失值的处理
1.删除缺失值
dropna()函数用于删除缺失值所在的一行或一列数据。其使用格式如下:
DataFrame.dropna(axis=0,how='any',subset=None,inplace=False)
- axis=0删除缺失值所在的一行数据,等于1则删除那一列数据
- subet:删除指定列的缺失值
以此数据为例
na_df.dropna()#删除缺失值所在的一行数据
2.填充缺失值
pandas中提供了fill函数填充缺失值
DataFrame.fillna(value=None,method=None,axis=None,inplace=False,limit=None,dowbcast=None)
- value:表示填充的数据,可以为变量、字典、Series或DataFrame类对象
- method:表示填充的方式,默认为None。可以为pad或ffill和backfill和bfiff前两个代表使用前面的值填充,backfill和bfiff表示使用后面的值填充
- axis:取0或者1分别代表填充行和列
- limit:表示连续填充的最大数量
接下来将使用fillna函数来填充下面数据
na_df.fillna(method="ffill")
3.插补缺失值
pandas中提供了interpolate函数来插补缺失值,其使用语法为:
DataFrame.interpolate(method="linear",axis=0)
- method:表示使用的插值方法。改参数支持“linear”(默认线性插值),“time”(时间序列插值),“index”,‘value’,‘nearest’(就近插值)
插值前:
na_df.interpolate(method='linear')