Excel跑不动？Python不会写？这个Skill一键搞定数据处理

这是一个关于“数据处理技能”的系统性指南。数据处理是连接原始数据与科研结论的桥梁，无论从事的是社会科学、生物信息学还是工程研究，这套技能都通用。

一、数据处理核心流程

原始数据 → 清洗 → 转换/整合 → 分析 → 可视化 → 结果解释 ↑ ↑ ↑ ↑ ↑ (最耗时) (最关键) (因任务而异) (核心) (沟通)

二、数据获取

1. 数据来源分类

2. 数据格式识别

三、数据清洗（耗时约60%-80%）

这是最重要且最容易被忽视的环节。

常见脏数据及处理

清洗代码示例（Python + pandas）

importpandasaspdimportnumpyasnp df=pd.read_csv('raw_data.csv')# 1. 查看整体信息df.info()df.describe()# 2. 处理缺失值df.isnull().sum()# 统计每列缺失数df['age'].fillna(df['age'].median(),inplace=True)# 用中位数填充数值列df.dropna(subset=['label'],inplace=True)# 删除标签缺失的行# 3. 处理重复值df.drop_duplicates(inplace=True)# 4. 处理异常值（以IQR法为例）Q1=df['income'].quantile(0.25)Q3=df['income'].quantile(0.75)IQR=Q3-Q1 lower=Q1-1.5*IQR upper=Q3+1.5*IQR df=df[(df['income']>=lower)&(df['income']<=upper)]# 5. 格式标准化df['city']=df['city'].str.lower().replace({'bj':'beijing','sh':'shanghai'})df['date']=pd.to_datetime(df['date_str'])

四、数据转换与特征工程

将数据整理成适合分析/建模的形态。

常用转换操作

代码示例

# 标准化（sklearn）fromsklearn.preprocessingimportStandardScaler scaler=StandardScaler()df[['feature1','feature2']]=scaler.fit_transform(df[['feature1','feature2']])# 独热编码df_encoded=pd.get_dummies(df,columns=['city','gender'],drop_first=True)# 构造新特征df['hour']=pd.to_datetime(df['timestamp']).dt.hour df['is_weekend']=(df['day_of_week']>=5).astype(int)

五、探索性数据分析（EDA）

在建模之前，先“认识”你的数据。

EDA必做清单

Python可视化快速入门（matplotlib + seaborn）

importmatplotlib.pyplotaspltimportseabornassns# 直方图df['age'].hist(bins=30)plt.title('Age Distribution')plt.show()# 箱线图（按类别分组）sns.boxplot(x='category',y='value',data=df)plt.xticks(rotation=45)plt.show()# 相关性热图plt.figure(figsize=(10,8))sns.heatmap(df.corr(),annot=True,cmap='coolwarm',fmt='.2f')plt.show()# 散点图矩阵（多变量）sns.pairplot(df[['feature1','feature2','feature3','target']])

六、常用工具链推荐

七、完整数据处理流程示例（Python）

假设任务：分析某电商用户行为数据，预测是否购买。

# 1. 导入importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassns# 2. 读取df=pd.read_csv('user_behavior.csv',parse_dates=['action_time'])# 3. 初探print(df.shape,df.dtypes)print(df.isnull().sum())# 4. 清洗df.drop_duplicates(inplace=True)df['age'].fillna(df['age'].median(),inplace=True)df=df[df['price']>0]# 价格必须为正# 5. 特征工程df['hour']=df['action_time'].dt.hour df['action_type']=pd.Categorical(df['action_type']).codes# 类别转数字user_stats=df.groupby('user_id').agg(total_clicks=('action_id','count'),avg_price=('price','mean')).reset_index()df=df.merge(user_stats,on='user_id',how='left')# 6. 拆分X,yX=df.drop(['purchased','action_time'],axis=1)y=df['purchased']# 7. 标准化fromsklearn.preprocessingimportStandardScaler num_cols=['age','price','total_clicks','avg_price']scaler=StandardScaler()X[num_cols]=scaler.fit_transform(X[num_cols])# 8. 最终数据概览X.info()X.head()

八、常见误区与避坑指南

九、一句话速记

先问问题→获取数据→清洗（最耗时）→探索（画图+统计）→转换→交付给分析/建模，每一步都记录，确保可复现。