从APMCM赛题解析疾病预测：数据科学实战与建模竞赛指南

1. 项目概述：从一道赛题看疾病预测的实战脉络

刚拿到2025年APMCM这道B题的时候，我第一反应是，这题目出得挺“实诚”。它没有拐弯抹角，直接把“疾病的预测与大数据分析”这个核心目标摆在了台面上。对于参加过数学建模竞赛，尤其是像亚太赛（APMCM）、国赛、美赛这类赛事的同学来说，这种题目既熟悉又充满挑战。熟悉在于，预测类、数据分析类题目几乎是每届必考；挑战在于，“疾病预测”这个领域水太深了，从简单的时序外推，到复杂的多因素耦合建模，中间隔着无数个需要权衡和抉择的岔路口。

这道题本质上是在考察我们如何将现实世界中庞大、杂乱、充满不确定性的医疗健康数据，通过数学和计算工具，转化为对未来疾病发生、发展态势的可靠洞察。它绝不仅仅是让你跑几个现成的机器学习模型那么简单。你需要理解疾病传播或发生的机理（哪怕是简化的），需要处理真实数据中必然存在的缺失、异常和尺度不一问题，需要根据不同的预测目标（比如是预测某个地区的发病率，还是预测个体患病风险）选择合适的模型架构，最后还需要用清晰、有说服力的方式呈现你的分析过程和结论。这整个过程，就是一个标准的数据科学项目在数学建模竞赛语境下的缩影。无论你是初次参赛的新手，还是身经百战的老兵，这道题都值得你投入时间去深挖，因为它所涉及的方法论，在未来的科研或工业界数据分析工作中，具有极高的通用性。

接下来，我将结合自己多年指导竞赛和进行数据分析的经验，为你彻底拆解这道题。我们会从解题的核心思路开始，一步步深入到数据怎么处理、模型怎么选、结果怎么分析，以及那些在优秀论文里不会写，但实际操作中能让你事半功倍或者避免翻车的“坑”与技巧。

2. 核心思路拆解：构建你的分析框架

面对“疾病预测与大数据分析”这样宽泛的命题，第一步也是最关键的一步，不是急着找数据、跑代码，而是定义问题边界和构建分析框架。题目通常只会给一个方向，比如“基于提供的数据，预测未来某段时间的疾病趋势”，但“趋势”具体指什么？是每日新增病例数？是不同年龄段的患病风险？还是医疗资源的需求峰值？你需要自己把它明确下来。

2.1 问题定义与目标量化

首先，我们必须把模糊的“预测”转化为一个或多个具体的、可量化的数学问题。以常见的传染病（如流感）预测为例，可能的量化目标包括：

1. 发病率/患病率时间序列预测：这是最经典的方向。目标是根据历史每日/每周/每月的新增病例数，预测未来一段时间（如下一个月、下一个季度）的病例数。这本质上是一个时间序列预测问题。
2. 空间分布预测：预测疾病在未来某个时间点，在不同区域（如城市、区县）的分布情况。这通常需要结合地理信息数据，构建空间统计模型或图神经网络模型。
3. 高风险人群/区域识别：目标不是预测具体数字，而是识别出哪些特征（如年龄、职业、基础疾病）的人群，或哪些特征（如人口密度、流动率、医疗资源）的区域，在未来具有更高的患病风险。这更像一个分类或排序问题。
4. 流行峰值与时间预测：对于有明显季节性或周期性的疾病，预测下一次流行高峰的强度（峰值病例数）和出现的时间点。

在APMCM这类竞赛中，我强烈建议选择1和3的结合，或者1和4的结合。因为单纯的时间序列预测（目标1）虽然经典，但略显单薄，难以体现“大数据分析”的深度。如果你能先利用大数据（比如结合搜索引擎指数、气象数据、交通流量等）识别出关键风险因素（目标3），再将这些因素作为特征融入时间序列模型进行预测（目标1），整个工作的层次感和创新性就出来了。这就是你分析框架的顶层设计。

2.2 数据维度与特征工程构想

题目提到“大数据分析”，这意味着我们考虑的数据源不应局限于传统的病例报告。在正式分析前，就要在脑子里搭建一个多维数据池。这些数据通常可以分为以下几层：

• 核心层（靶心数据）：疾病本身的历史数据。包括每日新增确诊病例数、累计病例数、康复数、死亡数等。这是预测最直接的依据。
• 关联层（直接影响因素）：与疾病传播或发生机理强相关的数据。
  • 气象数据：温度、湿度、降水量。很多呼吸道、消化道疾病与气象条件密切相关。
  • 人口流动数据：城市内部的交通流量（地铁、公交刷卡数据）、跨区域的人口迁徙指数（如百度迁徙指数）。这是刻画传染病空间扩散的关键。
  • 互联网行为数据：搜索引擎中与疾病症状相关的关键词搜索量（如“发烧”、“咳嗽”、“腹泻”）。这往往能领先于官方报告，提供早期预警信号。
• 背景层（潜在影响因素）：更宏观、影响更间接的数据。
  • 社会经济数据：区域人口密度、年龄结构、人均GDP、医疗资源（医院床位、医生数）。
  • 日历信息：节假日、工作日。人类行为模式在节假日会发生显著变化，从而影响疾病接触机会。

特征工程的核心思想，就是如何将这些原始数据，转化为机器学习模型能够有效“理解”并用于预测的“特征”。例如，对于时间序列，我们不仅要用当天的数据，还要构造出：

• 滞后特征：过去7天、14天、21天的病例数。这是捕捉趋势和周期的基础。
• 滑动统计特征：过去7天的移动平均值、标准差、最大值。这能平滑噪声并反映近期水平。
• 趋势特征：计算近期序列的斜率或拟合线性回归的系数。
• 交互特征：将气象数据（如低温）与人口流动数据（如高迁徙）相乘，构造一个“高风险暴露”特征，这可能比单独使用两个特征更有效。

提前构思好这些，你在真正拿到数据时就不会手忙脚乱，而是有条不紊地进行加工和提取。

2.3 模型技术选型逻辑

模型不是越高级越好，而是越合适越好。你的模型选择必须紧密服务于你定义的问题和目标。

• 如果核心是时间序列预测（目标1）：

  • 基线模型：ARIMA/SARIMA模型。这是时间序列预测的“基准线”。你必须做，用来对比证明你更复杂的模型是有提升的。它的优势是理论成熟、可解释性强，能捕捉自相关性和季节性。但缺点也很明显：难以融入多源的外部特征（如天气、搜索指数）。
  • 经典机器学习模型：LightGBM/XGBoost。这是当前竞赛中的“万金油”。它们能极其方便地处理表格数据，自动学习特征重要性，并且对缺失值、异常值有一定鲁棒性。你需要将时间序列问题转化为监督学习问题，即用过去一段时间（比如t-1, t-2, ... t-n）的所有特征，来预测未来时刻（t）的目标值。LightGBM效率通常更高。
  • 深度学习模型：LSTM/GRU等循环神经网络，或Transformer模型。它们擅长捕捉长期依赖和复杂模式。当数据量足够大、序列模式非常复杂时，它们的潜力更大。但缺点是需要更多的数据、更长的训练时间，且可解释性差。在竞赛有限的时间内，需要谨慎评估其投入产出比。

• 如果核心是风险识别（目标3）：

  • 逻辑回归：非常好的基线模型，结果有概率解释性，可以初步判断特征的影响方向（正/负）。
  • 随机森林 / GBDT（LightGBM, XGBoost）：用于特征重要性排序，找出哪些因素（如老年人口比例、搜索指数）对高风险贡献最大。
  • 聚类分析（如K-means）：可以将区域按照疾病风险特征进行分群，直观展示高风险区域的聚集情况。

一个高级的策略是模型融合。例如，用LightGBM来融合多源特征进行初步预测，同时用LSTM来深度挖掘纯病例序列中的时序模式，然后将两个模型的预测结果进行加权平均或 stacking，往往能获得比单一模型更稳定、更精准的结果。

3. 数据预处理实战：清洗、整合与探索

在实际操作中，数据预处理会消耗你60%以上的时间和精力。这一步做得好，模型成功一半；做得不好，再高级的模型也无力回天。

3.1 数据清洗：处理现实世界的“不完美”

你拿到的数据很可能包含以下问题：

1. 缺失值：某些日期或地区的数据缺失。
   • 应对策略：对于时间序列，优先使用前向填充或线性插值。对于特征数据，如果缺失率不高，可以用中位数或均值填充；如果缺失率很高，考虑是否直接删除该特征或构造一个“是否缺失”的二元标志作为新特征。
   • 注意：千万不要用未来数据填充过去！必须严格按时间顺序处理。
2. 异常值：由于报告错误或其他原因，出现远超正常范围的数值（如某天病例数激增后又骤降）。
   • 应对策略：首先结合背景知识判断是否为真实情况（如疫情爆发初期）。如果不是，可以采用统计方法（如3σ原则）识别，并用滑动窗口的中位数或 capped 方法（将超出阈值的数据设为阈值）进行处理。
3. 数据不一致：不同来源的数据时间粒度不同（有的日度，有的周度），地区编码标准不同。
   • 应对策略：统一时间粒度（通常以日为单位，周度数据可通过平均分配到日），建立地区名称与标准编码（如城市代码）的映射表。

3.2 多源数据整合：关键的一步

这是体现“大数据分析”的关键。假设我们有三张表：cases_daily.csv（病例数据），weather_daily.csv（气象数据），migration_index.csv（迁徙数据）。

import pandas as pd # 读取数据 cases_df = pd.read_csv('cases_daily.csv', parse_dates=['date']) weather_df = pd.read_csv('weather_daily.csv', parse_dates=['date']) migration_df = pd.read_csv('migration_index.csv', parse_dates=['date']) # 假设我们以城市和日期作为关联键 # 首先，确保每个DataFrame的‘city_code’和‘date’是连接键 # 使用merge进行整合，how='left'表示以病例数据为主表，保留所有日期，即使其他数据有缺失 merged_df = pd.merge(cases_df, weather_df, on=['city_code', 'date'], how='left') merged_df = pd.merge(merged_df, migration_df, on=['city_code', 'date'], how='left') # 检查整合后的数据 print(merged_df.info()) # 查看各列非空数量 print(merged_df.head())

整合后，每一行就代表了某个城市在某一天的完整画像：当天的病例数、温度、湿度、迁入指数等。这个merged_df就是后续所有特征工程和模型训练的基石。

3.3 探索性数据分析：用可视化发现故事

在建模前，花时间做EDA至关重要。这不是为了凑篇幅，而是为了真正理解数据。

• 病例数随时间变化趋势：绘制折线图。观察是否有明显的周期（如年度周期）、趋势（上升或下降）以及异常点。
• 病例数与外部因素的相关性：计算并绘制病例数与滞后N天的温度、搜索指数等的散点图或计算相关系数矩阵。你可能会发现，当搜索“流感症状”的指数上升后，大约1-2周，报告病例数也开始上升。这个“滞后关系”就是你构造特征的重要依据。
• 空间分布：如果数据包含地理信息，用热力图展示不同区域在不同时间点的发病率，可以直观看到疾病的扩散路径。

实操心得：EDA阶段发现的任何有趣模式，都值得在论文的“模型建立”部分提一句，作为你选择某个特征或某种模型结构的依据。这能让你的论文显得更有洞察力，而不是机械地堆砌模型。

4. 预测模型构建与实现细节

框架搭好，数据备齐，现在进入核心环节——构建预测模型。我们以一个结合了多源特征的时间序列预测场景为例，详细走一遍流程。

4.1 特征工程的具体实现

基于我们之前整合好的merged_df，开始构造特征。这里以构造预测未来第7天病例数的特征为例。

import numpy as np def create_features(df, target_col='new_cases', lags=[1, 7, 14], window_sizes=[7, 14]): """ 为时间序列预测创建特征。 df: 按城市和日期排序后的DataFrame target_col: 要预测的目标列名 lags: 滞后阶数列表 window_sizes: 滑动窗口大小列表 """ df = df.copy() # 必须按城市和时间排序，确保滞后操作正确 df.sort_values(['city_code', 'date'], inplace=True) # 1. 创建滞后特征 for lag in lags: df[f'{target_col}_lag_{lag}'] = df.groupby('city_code')[target_col].shift(lag) # 2. 创建滑动窗口统计特征 for window in window_sizes: df[f'{target_col}_rolling_mean_{window}'] = df.groupby('city_code')[target_col].transform( lambda x: x.rolling(window=window, min_periods=1).mean() ) df[f'{target_col}_rolling_std_{window}'] = df.groupby('city_code')[target_col].transform( lambda x: x.rolling(window=window, min_periods=1).std() ) # 可以添加更多，如最大值、最小值、分位数等 # 3. 时间特征 df['day_of_week'] = df['date'].dt.dayofweek df['month'] = df['date'].dt.month df['is_weekend'] = df['day_of_week'].isin([5, 6]).astype(int) # 可以加入是否为节假日的特征 # 4. 外部特征的滞后（例如，认为7天前的搜索指数影响今天的病例） external_cols = ['search_index', 'avg_temperature', 'migration_in'] for col in external_cols: for lag in [7, 14]: # 外部特征的滞后可能更长 df[f'{col}_lag_{lag}'] = df.groupby('city_code')[col].shift(lag) # 5. 交互特征（示例：低温且高迁徙） df['low_temp_high_migration'] = ((df['avg_temperature'] < 5) & (df['migration_in_lag_7'] > df['migration_in_lag_7'].median())).astype(int) # 删除因创建滞后特征而产生的缺失值行（最开始的几天） df.dropna(inplace=True) return df # 应用函数 featured_df = create_features(merged_df)

现在，featured_df中的每一行，都包含了用于预测该行日期病例数的丰富特征，这些特征均来自该日期之前的历史信息，严格避免了数据泄露。

4.2 模型训练与验证策略

我们不能直接用全部数据训练然后预测，必须评估模型的泛化能力，尤其是时间序列，要模拟真实的“用过去预测未来”。

from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_absolute_error, mean_squared_error import lightgbm as lgb # 假设我们要预测的目标是‘new_cases’ target = 'new_cases' # 选择特征列，排除日期、城市编码和目标列本身 feature_cols = [col for col in featured_df.columns if col not in ['date', 'city_code', target]] # 划分训练集和测试集（按时间划分） cutoff_date = featured_df['date'].max() - pd.Timedelta(days=30) # 假设用最后30天作为测试集 train_df = featured_df[featured_df['date'] < cutoff_date] test_df = featured_df[featured_df['date'] >= cutoff_date] X_train, y_train = train_df[feature_cols], train_df[target] X_test, y_test = test_df[feature_cols], test_df[target] # 使用时间序列交叉验证更稳健 tscv = TimeSeriesSplit(n_splits=5) model = lgb.LGBMRegressor(n_estimators=200, learning_rate=0.05, random_state=42) cv_scores = [] for train_idx, val_idx in tscv.split(X_train): X_tr, X_val = X_train.iloc[train_idx], X_train.iloc[val_idx] y_tr, y_val = y_train.iloc[train_idx], y_train.iloc[val_idx] model.fit(X_tr, y_tr, eval_set=[(X_val, y_val)], eval_metric='mae', callbacks=[lgb.early_stopping(stopping_rounds=30), lgb.log_evaluation(0)]) preds = model.predict(X_val) score = mean_absolute_error(y_val, preds) cv_scores.append(score) print(f'Fold MAE: {score:.2f}') print(f'CV平均MAE: {np.mean(cv_scores):.2f}') # 用全部训练数据重新训练一次，然后在真正的测试集上评估 final_model = lgb.LGBMRegressor(n_estimators=200, learning_rate=0.05, random_state=42) final_model.fit(X_train, y_train) test_preds = final_model.predict(X_test) final_mae = mean_absolute_error(y_test, test_preds) final_rmse = np.sqrt(mean_squared_error(y_test, test_preds)) print(f'测试集 MAE: {final_mae:.2f}, RMSE: {final_rmse:.2f}')

4.3 模型解释与结果分析

LightGBM/XGBoost的一个巨大优势是可解释性。训练完成后，一定要分析特征重要性。

import matplotlib.pyplot as plt import seaborn as sns # 获取特征重要性 importance_df = pd.DataFrame({ 'feature': feature_cols, 'importance': final_model.feature_importances_ }).sort_values('importance', ascending=False) plt.figure(figsize=(10, 8)) sns.barplot(data=importance_df.head(15), x='importance', y='feature') plt.title('Top 15 Feature Importance') plt.tight_layout() plt.show()

你可能会发现，new_cases_lag_7（一周前的病例数）和search_index_lag_14（两周前的搜索指数）是最重要的特征。这个结论本身就是一个重要的分析成果，你可以在论文中阐述：“模型揭示，疾病的传播具有显著的周度自相关性，且互联网搜索行为能提供约两周的领先预警指标。” 这就将单纯的预测提升到了机理洞察的层面。

最后，将预测结果与真实值绘制在同一张图上，直观展示模型的预测能力。对于测试集上的预测，计算误差的分布，并分析哪些时间点预测误差较大，尝试结合实际情况（如是否发生突发公共卫生事件、数据报告是否有延迟）进行解释。

5. 竞赛论文撰写要点与避坑指南

数学建模竞赛，三分靠做，七分靠写。一个清晰、完整、有说服力的论文是获奖的关键。

5.1 论文结构框架

1. 摘要：重中之重！评委可能只用几分钟看摘要。必须用精炼的语言说明：研究了什么问题、用了什么方法（模型）、处理了哪些数据、得到了什么关键结论（包括重要的量化指标，如预测误差MAE降低了多少）。避免空洞的形容词，多用事实和数据。
2. 问题重述与分析：不要照抄题目。用自己的话梳理问题的背景、目标和难点，并简要阐述你的整体解决思路。
3. 模型假设与符号说明：列出必要的、合理的假设（如“假设数据报告是准确且及时的”）。清晰定义文中用到的主要数学符号。
4. 数据分析与预处理：展示EDA的关键图表（趋势图、相关性热力图），说明数据清洗和特征工程的过程。这里可以放一两个核心的代码片段或流程图。
5. 模型建立与求解：这是核心章节。详细描述你选择的每一个模型（如ARIMA, LightGBM, LSTM）的原理、在该问题上的应用方式、模型融合的策略。一定要解释“为什么”选择这个模型。给出关键的公式和算法步骤。
6. 模型检验与结果分析：展示交叉验证结果、测试集预测效果图、误差分析、特征重要性分析。对结果进行深入的讨论，而不仅仅是罗列数字。例如：“如图所示，模型在平稳期预测准确，但在病例数骤升的拐点处存在滞后，这是因为模型主要依赖历史趋势，对突发因素的响应不足。”
7. 模型评价与推广：客观评价自己模型的优点和局限性（如对数据质量依赖高、未考虑政策干预因素等）。提出可能的改进方向。
8. 参考文献与附录：规范引用。将冗长的代码、补充的数据图表放在附录。

5.2 常见“坑”与应对技巧

• 坑1：数据泄露：这是新手最容易犯的致命错误。绝对不能用未来的信息预测过去。在构造特征时，任何基于目标变量或同时刻外部变量的操作都必须使用滞后值。在划分训练集/测试集时，必须按时间顺序划分，不能随机打乱。
• 坑2：盲目追求复杂模型：一上来就用LSTM、Transformer，结果调参调到天昏地暗，效果还不如LightGBM。务必建立基线模型。先用ARIMA或简单线性回归建立一个基准性能，再用更复杂的模型去超越它，这样才能体现你模型的价值。
• 坑3：忽略可解释性：评委不仅看预测数字准不准，更看你的分析是否合理。特征重要性分析、误差案例分析、关键参数的影响分析（如改变搜索指数的滞后天数会怎样），这些都能极大地增强论文的说服力。
• 坑4：论文像实验报告：只罗列步骤和结果，没有逻辑主线。你的论文应该讲一个“故事”：我们遇到了一个什么问题 -> 这个问题可以从几个角度分析 -> 我们收集并处理了这些数据 -> 基于数据特性我们选择了这些模型 -> 模型告诉我们以下几个重要发现 -> 这些发现意味着什么，还有什么不足。保持这种叙述性。
• 坑5：图表质量低下：使用模糊的截图、默认的Excel图表风格、没有标注的坐标轴。学习使用Matplotlib或Seaborn绘制清晰、专业的图表。确保所有图表都有编号、标题，坐标轴有清晰的标签和单位。

个人体会：在时间紧迫的竞赛中，“快糙猛”但完整的工作流，远优于“精雕细琢”但未完成的想法。先搭建一个从数据预处理到基础预测的完整管道并跑通，确保论文有东西可写。然后，再有选择性地对其中1-2个环节进行深化和创新（比如尝试一种新颖的特征构造方法，或一个简单的模型融合策略），这样既能保证完整性，又能体现亮点。最后，务必留出至少1/3的时间来撰写和打磨论文，好的呈现能让你的工作增值50%以上。