当前位置：首页 > news >正文

DataFrame缺失值处理：完整指南与实战技巧

news 2026/5/12 18:01:03

引言

在数据分析工作中，缺失值（Missing Values）是不可避免的挑战。无论是数据库导出错误、传感器故障还是用户输入遗漏，缺失值都会影响数据质量和分析结果。Pandas的DataFrame作为最常用的数据处理工具，提供了多种处理缺失值的方法。本文将系统介绍DataFrame缺失值的识别、处理策略和实战技巧。

一、缺失值的识别与统计

1.1 缺失值的表示形式

在Pandas中，缺失值通常表现为：

NaN（Not a Number）：数值型数据的缺失值
NaT（Not a Time）：时间类型数据的缺失值
None：Python对象的缺失值（在数值列中会被自动转换为NaN）

1.2 检测缺失值

importpandasaspdimportnumpyasnp# 创建示例DataFramedf=pd.DataFrame({'A':[1,2,np.nan,4],'B':[5,np.nan,np.nan,8],'C':[9,10,11,12]})# 检查单个值是否为缺失值print(pd.isna(df.loc[2,'A']))# 输出: True# 检查整个DataFrame的缺失值print(df.isna())""" A B C 0 False False False 1 False True False 2 True True False 3 False False False """# 检查每列缺失值数量print(df.isna().sum())""" A 1 B 2 C 0 dtype: int64 """# 检查每列缺失值比例print(df.isna().mean())""" A 0.25 B 0.50 C 0.00 dtype: float64 """

1.3 可视化缺失值

importseabornassnsimportmatplotlib.pyplotasplt sns.heatmap(df.isna(),cbar=False,cmap='viridis')plt.title('Missing Values Heatmap')plt.show()

二、缺失值处理策略

2.1 删除法

适用场景：缺失值比例较小或缺失数据无规律可循

# 删除包含缺失值的行（默认axis=0）df_drop_rows=df.dropna()print(df_drop_rows)""" A B C 0 1.0 5.0 9 3 4.0 8.0 12 """# 删除包含缺失值的列df_drop_cols=df.dropna(axis=1)print(df_drop_cols)""" C 0 9 1 10 2 11 3 12 """# 只删除全为缺失值的行df_drop_all_na=df.dropna(how='all')# 只删除特定列有缺失值的行df_drop_subset=df.dropna(subset=['A','B'])

2.2 填充法

适用场景：缺失值有规律或可预测

2.2.1 固定值填充

# 用0填充所有缺失值df_fill_0=df.fillna(0)# 不同列用不同值填充fill_values={'A':df['A'].mean(),'B':df['B'].median()}df_fill_dict=df.fillna(fill_values)

2.2.2 前向/后向填充

# 前向填充（用前一个有效值填充）df_ffill=df.fillna(method='ffill')# 后向填充（用后一个有效值填充）df_bfill=df.fillna(method='bfill')# 限制连续填充数量df_ffill_limit=df.fillna(method='ffill',limit=1)

2.2.3 插值法

# 线性插值df_interpolate=df.interpolate()# 时间序列插值（适用于DatetimeIndex）# df_ts = df.set_index('datetime_column')# df_ts_interpolate = df_ts.interpolate(method='time')# 多项式插值df_poly_interpolate=df.interpolate(method='polynomial',order=2)

2.3 模型预测填充

适用场景：缺失值与其它特征高度相关

fromsklearn.imputeimportKNNImputer# K近邻填充（使用3个最近邻的平均值）imputer=KNNImputer(n_neighbors=3)df_knn=pd.DataFrame(imputer.fit_transform(df),columns=df.columns)# 随机森林填充（需要先分离特征和目标）# from sklearn.ensemble import RandomForestRegressor# 示例代码略

三、高级处理技巧

3.1 标记缺失值

有时保留缺失信息比填充更有价值：

# 创建缺失值指示列forcolindf.columns:df[f'{col}_isna']=df[col].isna().astype(int)

3.2 分组填充

# 按某列分组后填充df['B']=df.groupby('C')['B'].transform(lambdax:x.fillna(x.mean()))

3.3 时间序列特殊处理

# 创建带时间索引的DataFramedate_rng=pd.date_range(start='1/1/2020',end='1/08/2020',freq='D')df_ts=pd.DataFrame(date_rng,columns=['date'])df_ts['value']=[1,np.nan,np.nan,4,5,np.nan,7,8]df_ts.set_index('date',inplace=True)# 时间感知的前向填充df_ts_filled=df_ts.resample('D').mean().ffill()

3.4 迭代填充

# 迭代填充直到收敛（适用于相互依赖的缺失值）defiterative_impute(df,max_iter=10,tol=1e-4):for_inrange(max_iter):df_filled=df.fillna(df.mean())ifnp.allclose(df.fillna(0),df_filled.fillna(0),atol=tol):breakdf=df_filledreturndf