Python医药数据处理实战：Pandas与NumPy数据清洗与预处理指南

1. 项目概述：当医药数据遇上Python

如果你正在学习Python，或者你的专业恰好与医药、生物、公共卫生相关，那么“以医药数据处理为例”这个切入点，绝对能让你眼前一亮。这不仅仅是又一本枯燥的编程教材，而是一座连接抽象代码与真实世界的桥梁。想象一下，你面对的是一份来自临床试验的Excel表格，里面混杂着患者的年龄、用药剂量、不良反应记录；或者是一份基因测序的原始文本数据，需要从中提取关键变异信息。传统的手工处理不仅效率低下，还极易出错。而Python，凭借其简洁的语法和强大的生态库，正成为解决这些问题的利器。

本章的“简单操作题”，其核心价值在于“学以致用”。它不会一上来就跟你大谈特谈机器学习模型或深度学习框架，而是聚焦于数据处理中最基础、最频繁的操作：如何把杂乱无章的原始数据，变成整洁、规整、可供分析的结构化数据。这个过程，在数据科学领域被称为“数据清洗”或“数据预处理”，它往往占据了数据分析80%以上的时间和精力。掌握这些基础操作，意味着你拿到了打开医药数据宝库的第一把钥匙。无论你是医学院的学生、药企的研究员，还是公共卫生领域的分析者，这些技能都能让你从繁琐的重复劳动中解放出来，将更多精力投入到更有价值的业务洞察和科学研究中去。

2. 核心操作思路与工具选型解析

2.1 为什么是Pandas + NumPy组合？

在Python的数据处理宇宙中，Pandas和NumPy是当之无愧的基石。对于医药数据处理而言，这个组合的选择绝非偶然，而是由其数据特性和分析需求共同决定的。

NumPy提供了高性能的多维数组对象。在医药领域，很多数据天生就是数组形式。例如，一组患者的连续血压监测数据（时间序列数组）、一张医学影像的像素矩阵（二维/三维数组）、或者一批药物在不同浓度下的活性测定值。NumPy的数组运算速度极快，因为它底层由C语言实现，并且支持向量化操作。这意味着你可以用一行代码完成对整个数组的数学运算（如标准化、归一化），而无需编写低效的循环。在处理基因序列比对、光谱数据分析等需要大量数值计算的场景时，NumPy是无可替代的。

Pandas则建立在NumPy之上，引入了两种核心数据结构：Series（一维带标签数组）和DataFrame（二维表格型数据结构）。DataFrame完美契合了医药数据最常见的形态——表格数据。一份电子病历、一个临床试验受试者清单、一个药品库存表，都可以看作是一个DataFrame。Pandas的强大之处在于它提供了极其丰富且直观的数据操作接口：数据读取、缺失值处理、数据筛选、分组聚合、合并连接等。对于医药研究者来说，你不再需要记住复杂的SQL语句或Excel高级公式，用几句直观的Python代码就能完成复杂的数据整理。

注意：虽然OpenPyXL或xlrd库也能直接读写Excel，但在进行复杂的数据处理、转换和分析时，强烈建议先将数据读入Pandas DataFrame。Pandas提供了更统一、更强大的数据操作范式，处理完成后再导出到Excel，这样效率更高，代码也更清晰。

2.2 典型医药数据处理场景与对应操作

在开始具体操作前，我们需要明确医药数据常见的“脏乱差”情形及其对应的清洗目标：

1. 数据导入与探查：数据可能来自CSV、Excel、数据库甚至文本文件。第一步是正确读取并快速了解数据全貌（有多少行、多少列、数据类型、是否有缺失）。
2. 缺失值处理：患者随访记录缺失、检测指标未填写、问卷漏答等情况极为常见。需要决定是删除、填充（用均值、中位数、前后值）还是标记。
3. 异常值检测与处理：血压值记录为负数，年龄写成了200岁，这些明显的错误数据会严重干扰分析结果。需要结合业务知识（如正常生理范围）进行识别和处理。
4. 数据格式标准化：日期可能是“2023-01-01”、“01/01/2023”、“20230101”等多种格式，需要统一；性别可能用“M/F”、“男/女”、“1/0”表示，需要编码一致化。
5. 数据筛选与切片：只分析某种特定药物的患者，或者筛选出某个年龄段的研究对象。
6. 数据转换与衍生：根据身高体重计算BMI指数，根据用药记录计算累计用药剂量，根据诊断编码衍生出疾病分类变量。
7. 数据合并与连接：将患者的基线信息表、实验室检查表和随访记录表，按照唯一的患者ID进行关联。

本章的“简单操作题”通常会围绕以上一个或几个场景展开，旨在训练我们运用Pandas和NumPy解决这些实际问题的肌肉记忆。

3. 核心操作详解与避坑指南

3.1 数据读取：第一步就踩坑？

读取数据看似简单，但细节决定成败。以读取一个名为clinical_trial_data.xlsx的Excel文件为例。

import pandas as pd # 基础读取 df = pd.read_excel('clinical_trial_data.xlsx') print(df.head()) # 查看前5行 print(df.info()) # 查看数据概览，包括列名、非空值数量、数据类型

避坑指南1：编码问题与分隔符如果数据是CSV格式，且包含中文，最常见的坑是编码错误导致乱码。

# 尝试不同编码 try: df = pd.read_csv('data.csv', encoding='utf-8') except UnicodeDecodeError: try: df = pd.read_csv('data.csv', encoding='gbk') # 中文Windows常用 except UnicodeDecodeError: df = pd.read_csv('data.csv', encoding='latin1') # 最后的手段，可能部分字符异常

另外，有些CSV文件可能用分号;或制表符\t分隔，需要用sep参数指定：pd.read_csv('data.csv', sep=';')。

避坑指南2：指定工作表与表头Excel文件可能有多个工作表，或者表头不在第一行。

# 读取指定工作表，并指定从第3行开始作为表头（0-based索引） df = pd.read_excel('data.xlsx', sheet_name='Sheet2', header=2)

实操心得：养成使用df.info()和df.head()的习惯。info()能立刻告诉你是否有大量缺失值（Non-Null Count远小于总行数），以及数据类型是否被正确识别（比如把日期识别成了字符串）。在医药数据中，ID号常常被读成整数，但如果ID以0开头（如‘001’），必须读成字符串，否则开头的0会丢失。这时需要指定dtype参数或读取后转换。

3.2 缺失值处理：删除还是填充？

医药数据中，缺失值（NaN）无处不在。粗暴地删除含有缺失值的行（df.dropna()）可能会损失大量宝贵样本，尤其是小样本研究。

1. 探索缺失情况

# 查看每列缺失值的比例 missing_ratio = df.isnull().sum() / len(df) print(missing_ratio.sort_values(ascending=False))

2. 处理策略选择

• 删除：当缺失值占比极低（如<5%），且随机出现，删除对整体分布影响不大时，可以使用df.dropna(subset=['重要列名'])删除特定列缺失的行。
• 填充：这是更常用的方法。
  • 固定值填充：对于分类变量，如“不良反应类型”缺失，可以用“未知”填充：df['adverse_event'].fillna('Unknown', inplace=True)。
  • 统计值填充：对于连续变量，如“血压值”，常用均值、中位数填充。但这里有个医药领域的特例：如果数据分布严重偏态（如某些生化指标），中位数比均值更稳健。

  # 使用该列的中位数填充缺失值 median_value = df['blood_pressure'].median() df['blood_pressure'].fillna(median_value, inplace=True)

  • 前后值填充：对于时间序列数据，如连续监测的血糖值，可以用前一个有效值填充：df.fillna(method='ffill', inplace=True)。

注意：填充缺失值是一种“估算”，会引入不确定性。在学术论文中，必须明确报告缺失值处理的方法。对于关键结局指标（如生存状态）的缺失，通常不能简单填充，可能需要通过其他渠道溯源或按缺失数据处理。

3.3 异常值处理：结合业务知识的判断

用Python发现统计上的异常值（如超出均值3个标准差）很简单，但判断和处理必须依赖业务知识。

import numpy as np # 假设处理‘血清肌酐’列，单位是 umol/L creatinine = df['serum_creatinine'] # 方法1：基于标准差（假设数据近似正态分布） mean_val = creatinine.mean() std_val = creatinine.std() lower_bound = mean_val - 3 * std_val upper_bound = mean_val + 3 * std_val # 标识出异常值 outliers_std = creatinine[(creatinine < lower_bound) | (creatinine > upper_bound)] # 方法2：基于业务范围（更可靠！） # 成年男性肌酐正常参考范围约为 53-106 umol/L，但疾病状态下可能极高 clinical_lower = 20 # 极低值可能为录入错误 clinical_upper = 1000 # 设定一个合理的上限 outliers_clinical = creatinine[(creatinine < clinical_lower) | (creatinine > clinical_upper)] print(f"基于统计的异常值数量：{len(outliers_std)}") print(f"基于临床知识的异常值数量：{len(outliers_clinical)}")

处理方式：

1. 核实：如果可能，回溯原始记录，确认是否为录入错误。
2. 设为缺失：如果无法核实，且明显为错误（如负数），可将其设为NaN，然后按缺失值处理：df.loc[df['serum_creatinine'] < 20, 'serum_creatinine'] = np.nan。
3. 保留但标注：在有些分析中（如研究极端生理反应），异常值本身具有意义。可以保留数据，但在分析时使用稳健统计量（如中位数、四分位距），或进行分组分析。

实操心得：永远不要完全依赖统计方法自动处理异常值。和领域专家（医生、药师）沟通，确定合理的数值范围，是数据处理中不可跳过的一步。我曾处理过一份儿科数据，身高值有几个“异常高”的记录，统计方法建议剔除，但经核实，那是几位患有巨人症的患儿，正是研究的重点对象。

3.4 数据筛选与切片：精准定位目标样本

Pandas提供了非常灵活的数据筛选方式，核心是布尔索引。

# 示例：筛选出“治疗组”且“年龄大于等于18岁”的患者 treatment_df = df[(df['group'] == 'Treatment') & (df['age'] >= 18)] # 筛选出“某种特定药物”或“出现特定不良反应”的记录 target_drug_df = df[df['medication'].str.contains('阿托伐他汀', na=False)] # 注意处理NaN # 使用 isin 方法筛选多个值 ae_df = df[df['adverse_event'].isin(['恶心', '头晕', '皮疹'])] # 复杂的多条件筛选：治疗组中，年龄>60或基线血压>140的患者 complex_filter = df[(df['group'] == 'Treatment') & ((df['age'] > 60) | (df['baseline_bp'] > 140))]

避坑指南：多个条件组合时，每个条件必须用括号()括起来，逻辑运算符&（与）、|（或）、~（非）是位运算符，不能直接用and、or。此外，在对字符串列进行操作后（如str.contains），可能会产生NaN，需要用na=False参数忽略，或后续处理。

3.5 数据转换与衍生：创造新的分析维度

这是体现数据分析价值的关键一步，将原始数据转化为有意义的指标。

# 1. 计算BMI (Body Mass Index) df['bmi'] = df['weight_kg'] / (df['height_m'] ** 2) # 2. 年龄分组（离散化） bins = [0, 18, 45, 65, 100] # 定义分箱边界 labels = ['未成年', '青年', '中年', '老年'] df['age_group'] = pd.cut(df['age'], bins=bins, labels=labels, right=False) # right=False表示左闭右开 # 3. 创建标志变量（哑变量） # 例如，将“疾病类型”这一分类变量转换为多个0/1列 disease_dummies = pd.get_dummies(df['disease_type'], prefix='disease') df = pd.concat([df, disease_dummies], axis=1) # 将新列合并到原数据框 # 4. 基于条件赋值 # 根据肌酐清除率计算肾功能分期 def classify_ckd_stage(creatinine, age, sex): # 这里简化计算，实际应用需使用CKD-EPI或MDRD公式 if creatinine < 90: return 'Stage 1-2' elif creatinine < 180: return 'Stage 3' else: return 'Stage 4-5' # 使用apply方法逐行应用函数，注意axis=1 df['ckd_stage'] = df.apply(lambda row: classify_ckd_stage(row['serum_creatinine'], row['age'], row['sex']), axis=1)

实操心得：使用apply函数时，如果数据量大，可能会比较慢。对于简单的数值运算，尽量使用NumPy的向量化操作或Pandas的内置函数（如.map()，.replace()），它们的效率远高于apply。例如，简单的映射关系可以用字典：

severity_map = {'轻度': 1, ‘中度‘: 2， ’重度‘: 3} df[’severity_code‘] = df[’severity‘].map(severity_map)

4. 综合实验：从原始数据到分析就绪数据集

假设我们拿到一份名为patient_records.csv的模拟数据，包含以下字段：Patient_ID，Admission_Date，Discharge_Date，Diagnosis，Medication，Cost。数据存在缺失、格式不一致、异常值等问题。

4.1 任务目标

1. 清理数据，处理缺失值和异常值。
2. 计算每个患者的住院天数。
3. 筛选出住院天数大于7天且费用高于平均水平的患者。
4. 按诊断分组，统计平均住院费用。

4.2 分步实现与代码解析

import pandas as pd import numpy as np # 步骤1：读取与探查 df = pd.read_csv('patient_records.csv', parse_dates=['Admission_Date', 'Discharge_Date']) # 尝试自动解析日期 print("原始数据形状：", df.shape) print("\n数据信息：") print(df.info()) print("\n描述性统计：") print(df.describe()) # 步骤2：处理缺失值 # 检查缺失 print("\n缺失值统计：") print(df.isnull().sum()) # 假设‘Diagnosis’缺失无意义，删除这些行（或根据其他信息填充） df_clean = df.dropna(subset=['Diagnosis']).copy() # ‘Cost’缺失用同诊断组的平均费用填充 # 先计算各诊断组的平均费用 diagnosis_mean_cost = df_clean.groupby('Diagnosis')['Cost'].transform('mean') df_clean['Cost'] = df_clean['Cost'].fillna(diagnosis_mean_cost) # 步骤3：处理异常值（费用不可能为负） df_clean = df_clean[df_clean['Cost'] >= 0] # 步骤4：数据转换 - 计算住院天数 # 确保日期格式正确，计算天数差，并转换为整数 df_clean['Length_of_Stay'] = (df_clean['Discharge_Date'] - df_clean['Admission_Date']).dt.days # 检查是否有负的住院天数（数据错误） if (df_clean['Length_of_Stay'] < 0).any(): print("警告：存在出院日期早于入院日期的记录！") # 这里可以选择删除或交换日期，假设我们删除 df_clean = df_clean[df_clean['Length_of_Stay'] >= 0] # 步骤5：数据筛选 average_cost = df_clean['Cost'].mean() target_patients = df_clean[(df_clean['Length_of_Stay'] > 7) & (df_clean['Cost'] > average_cost)] print(f"\n符合条件（住院>7天且费用高于平均水平）的患者数：{len(target_patients)}") # 步骤6：数据聚合分析 diagnosis_cost_summary = df_clean.groupby('Diagnosis').agg( avg_cost=('Cost', 'mean'), median_stay=('Length_of_Stay', 'median'), patient_count=('Patient_ID', 'count') ).round(2) # 保留两位小数 print("\n按诊断分组的费用与住院情况：") print(diagnosis_cost_summary) # （可选）步骤7：导出清洗后的数据 df_clean.to_csv('cleaned_patient_records.csv', index=False, encoding='utf-8-sig') print("\n数据清洗完成，已保存至 'cleaned_patient_records.csv'")

代码关键点解析：

• parse_dates参数在读取时尝试将指定列解析为日期时间格式，省去后续转换步骤。
• 使用.copy()是为了避免后续操作在SettingWithCopyWarning警告。
• groupby().transform('mean')用于计算每个组（诊断）的平均值，并返回一个与原数据框长度相同的Series，便于填充。
• .dt.days是访问Timedelta对象（日期差）的天数属性。
• groupby().agg()是强大的聚合函数，可以一次性计算多个统计量，并自定义列名。

5. 常见问题与排查技巧实录

在实际操作中，你一定会遇到各种报错和意想不到的结果。下面是我踩过的一些坑和解决方法。

5.1 报错：“SettingWithCopyWarning”

这是Pandas初学者最常遇到的警告，虽然不是错误，但意味着你的操作可能不会按预期工作。

# 触发警告的写法 subset = df[df['age'] > 50] subset['new_column'] = 1 # 这里会发出 SettingWithCopyWarning

原因：subset可能是原始df的一个视图（view），而非副本（copy）。直接对其赋值，结果可能无法写回原始df，或者产生不可预知的行为。解决：明确使用.copy()创建副本。

subset = df[df['age'] > 50].copy() subset['new_column'] = 1 # 安全

5.2 数据合并时出现重复或丢失

使用pd.merge()合并两个表时，结果行数可能多于或少于预期。

result = pd.merge(df1, df2, on='Patient_ID') print(f"合并后行数：{len(result)}， df1行数：{len(df1)}， df2行数：{len(df2)}")

排查：

• 行数变多：检查on字段在其中一个表中是否有重复值。这会导致一对多或多对多合并。使用how参数（‘inner’， ‘left’， ‘right’， ‘outer’）控制合并方式。
• 行数变少（内连接时）：说明两个表的键值不匹配。检查键值是否有空格、大小写不一致或类型不同（如一个是字符串，一个是整数）。可以先标准化键列：df['Patient_ID'] = df['Patient_ID'].astype(str).str.strip()。
• 使用validate参数：在合并前进行验证，pd.merge(..., validate='one_to_one')，如果不符合预期会抛出错误，帮助你提前发现问题。

5.3 分组聚合（groupby）结果不符合预期

分组后，想对多列进行不同运算，但结果混乱。

# 错误或混乱的写法 df.groupby('Diagnosis')['Cost', 'Length_of_Stay'].mean() # 旧版写法，可能报错或警告

正确写法：使用agg()方法，传入一个字典，明确指定每列需要的聚合函数。

agg_dict = { 'Cost': ['mean', 'std', 'sum'], # 对Cost列计算均值、标准差、总和 'Length_of_Stay': 'median', # 对住院天数计算中位数 'Patient_ID': 'count' # 计数，统计每个组的患者数 } summary = df.groupby('Diagnosis').agg(agg_dict) # 结果是一个多级索引的DataFrame，列名是元组 print(summary.head()) # 可以扁平化列名 summary.columns = ['_'.join(col).strip() for col in summary.columns.values] print(summary.head())

5.4 处理大数据文件时内存不足

当CSV或Excel文件很大（几百MB以上）时，直接read_csv可能耗尽内存。策略：

1. 指定数据类型：在读取时用dtype参数指定每列的数据类型，例如将可能是分类的字符串列指定为‘category’，将数值列指定为np.float32而不是默认的np.float64，可以大幅减少内存占用。

   dtypes = {'Patient_ID': 'str', 'Age': 'int8', 'Cost': 'float32'} df = pd.read_csv('huge_file.csv', dtype=dtypes)

2. 只读取需要的列：使用usecols参数。

   df = pd.read_csv('huge_file.csv', usecols=['Patient_ID', 'Diagnosis', 'Cost'])

3. 分块读取：使用chunksize参数迭代处理。

   chunk_iter = pd.read_csv('huge_file.csv', chunksize=50000) # 每次读5万行 result_list = [] for chunk in chunk_iter: # 对每个块进行处理，例如过滤、聚合 processed_chunk = chunk[chunk['Cost'] > 100] result_list.append(processed_chunk) # 最后将所有块的结果合并 final_df = pd.concat(result_list, ignore_index=True)

5.5 日期时间处理的陷阱

日期时间处理是另一个重灾区，尤其是数据来自不同系统时。

• 格式混乱：使用pd.to_datetime()函数，并指定format参数可以强制转换。errors='coerce'参数可以将无法转换的设为NaT（Not a Time）。

  df['Admission_Date'] = pd.to_datetime(df['Admission_Date'], format='%Y/%m/%d', errors='coerce')

• 时区问题：如果数据涉及跨时区，需要明确时区信息。使用tz_localize和tz_convert。
• 提取日期部分：转换后，可以方便地提取年、月、日、星期几等信息。

  df['Admission_Year'] = df['Admission_Date'].dt.year df['Admission_Month'] = df['Admission_Date'].dt.month df['Day_of_Week'] = df['Admission_Date'].dt.day_name()

数据处理就像做实验前的准备工作，枯燥但至关重要。这些“简单操作”的熟练程度，直接决定了后续分析结果的可靠性和效率。我的体会是，与其追求花哨的高级算法，不如先把这些基础操作练到肌肉记忆。每次拿到新数据，都按“读、查、清、转”的流程走一遍，形成自己的数据清洗检查清单，久而久之，你就能快速洞察数据质量，并高效地将其驯服，为真正的分析任务打下坚实的基础。最后一个小技巧：多使用df.sample(10)随机查看一些数据行，而不是只看头尾，这有助于发现数据中间部分可能隐藏的问题。