2024年MathorCup C题：从数据预处理到排班优化的全链路建模实战
1. 数据预处理：从脏数据到干净样本的关键步骤
数据预处理是数学建模竞赛中最容易被忽视却又至关重要的环节。在实际项目中，我见过太多团队因为跳过这一步直接建模而导致预测结果偏离实际。以2024年MathorCup C题为例，附件1中的货量数据存在明显的极端值——有些记录高达10万+，有些则低至个位数。这种数据如果不经处理直接喂给模型，就像让厨师用发霉的食材做菜，结果可想而知。
处理异常值有几种经典方法。对于近似正态分布的数据，我推荐使用3σ原则：计算数据的均值μ和标准差σ，将超出[μ-3σ, μ+3σ]范围的值视为异常。但实际业务数据往往呈偏态分布，这时箱线图法更可靠。具体操作时，先计算第一四分位数Q1、第三四分位数Q3和四分位距IQR，任何低于Q1-1.5IQR或高于Q3+1.5IQR的数据点都需要特别关注。
import pandas as pd import numpy as np # 加载数据示例 data = pd.read_csv('attachment1.csv', encoding='GBK') # 箱线图法检测异常值 Q1 = data['货量'].quantile(0.25) Q3 = data['货量'].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR outliers = data[(data['货量'] < lower_bound) | (data['货量'] > upper_bound)]但异常值处理不是简单的删除。比如我们发现某天货量突增到11000件，经查证是双十一活动导致。这类业务合理的"异常"应该保留，但可能需要单独建模或添加活动标记作为特征。我常用的处理流程是：先自动化检测异常→人工复核业务合理性→对确认的异常值进行修正或标记。
2. 货量预测模型：时间序列与机器学习的融合实战
2.1 日货量预测的模型选型
面对57个分拣中心未来30天的货量预测需求，我们需要区分日预测和小时预测两种场景。对于日货量预测，传统时间序列模型往往比通用机器学习模型更占优势。我的项目经验表明，SARIMA模型（季节性自回归综合移动平均模型）在物流货量预测中表现稳定，尤其适合具有明显周周期性的数据。
SARIMA的核心参数包括：
- 非季节性部分：(p,d,q)分别代表自回归阶数、差分次数和移动平均阶数
- 季节性部分：(P,D,Q,m)其中m为周期长度（如周数据m=7）
- 常用参数组合：(1,1,1)×(1,1,1,7)是个不错的起点
from statsmodels.tsa.statespace.sarimax import SARIMAX # 以单个分拣中心为例 model = SARIMAX(daily_data, order=(1, 1, 1), seasonal_order=(1, 1, 1, 7)) results = model.fit() forecast = results.get_forecast(steps=30)但SARIMA对长期预测（如30天）可能存在误差累积问题。这时可以结合Prophet模型——Facebook开源的预测工具，能自动处理节假日效应，且对缺失值不敏感。去年国赛中有队伍使用Prophet取得优异成绩，但要注意其需要足够的历史数据才能发挥优势。
2.2 小时级预测的两种思路
小时货量预测的挑战在于数据粒度更细、波动更大。我实践过两种有效方案：
方案一：整体时序建模将24小时视为一个完整周期，用所有历史小时数据（约3万条记录）直接训练模型。这种方法的优势是数据量大、能捕捉微观波动，但需要足够强的算力和精细的参数调优。
方案二：分时段独立预测把每天同一小时的数据单独提取（如只取每天上午10点的数据），形成30天的序列单独预测。这样做减少了数据量，但需要执行24次预测，且可能丢失小时之间的关联信息。
我的实测对比显示，对于业务高峰时段（如上午10-12点），方案二预测更准确；而平峰时段方案一表现更好。因此在实际比赛中，可以采用混合策略：对关键时段使用分时预测，其余时段用整体建模。
3. 运输线路变化下的预测调整
当问题引入运输线路变化（附件3→附件4）时，预测模型需要升级为多变量时序模型。这时除了时间维度，还要考虑空间维度的影响。我的团队采用的特征工程方案包括：
线路货量变动特征：
- 新线路标记（0/1）
- 历史货量变化率（ΔQ/Q）
- 相邻线路货量均值
分拣中心网络特征：
- 入度/出度（作为枢纽的重要性）
- 平均运输距离
- 服务区域经济指标
# 特征构造示例 merged_data['是否新线路'] = (merged_data['历史货量'] == 0).astype(int) merged_data['货量变化率'] = merged_data['当前货量'] / merged_data['历史货量'].replace(0, 1)在模型选择上，XGBoost这类树模型对特征工程非常友好。以下是关键参数配置建议：
- learning_rate: 0.01-0.1（小学习率配合更多树）
- max_depth: 5-8（防止过拟合）
- subsample: 0.8（行采样）
- colsample_bytree: 0.8（列采样）
import xgboost as xgb model = xgb.XGBRegressor( n_estimators=1000, learning_rate=0.05, max_depth=6, subsample=0.8, colsample_bytree=0.8, random_state=42 ) model.fit(X_train, y_train)对于深度学习的尝试，我建议使用LSTM+Attention结构处理时序部分，再拼接静态特征。但要注意神经网络需要更多数据且训练时间长，在比赛时间有限的情况下可能不是最优选择。
4. 排班优化：从预测到决策的最后一公里
4.1 基础排班模型构建
有了货量预测后，排班优化就转化为典型的整数规划问题。以问题三为例，我们需要在满足货量需求的前提下，最小化总人天数。这需要明确定义：
决策变量：
- x[i][j]: 第i天第j班次的正式工人数
- y[i][j]: 第i天第j班次的临时工人数
目标函数： Minimize ΣΣ(x[i][j] + y[i][j])
约束条件：
- 产能约束：Px[i][j] + Ty[i][j] ≥ C[i][j]/6 （P=25为正式工人效，T=20为临时工人效）
- 正式工上限：x[i][j] ≤ 60
- 非负约束：x[i][j] ≥ 0, y[i][j] ≥ 0
- 单班次约束：Σx[i][j] ≤ 1（每人每天最多一个班次）
使用PuLP库可以方便地建模求解：
from pulp import * prob = LpProblem("Shift_Scheduling", LpMinimize) # 定义变量 x = LpVariable.dicts("正式工", (days, shifts), lowBound=0, cat='Integer') y = LpVariable.dicts("临时工", (days, shifts), lowBound=0, cat='Integer') # 目标函数 prob += lpSum([x[d][s] + y[d][s] for d in days for s in shifts]) # 添加约束 for d in days: for s in shifts: prob += 25*x[d][s] + 20*y[d][s] >= predicted_workload[d][s]/6 prob += x[d][s] <= 60 prob += lpSum([x[d][s] for s in shifts]) <= 1 prob.solve()4.2 复杂约束下的进阶优化
问题四增加了更多现实约束：
- 正式工出勤率≤85%
- 连续出勤≤7天
- 出勤率均衡性要求
这时需要引入二元决策变量：
- x[i][j][k]: 第k名员工在第i天第j班次是否出勤（0/1）
新的约束条件包括：
# 出勤率约束 for k in employees: prob += lpSum([x[d][s][k] for d in days for s in shifts]) <= 25.5 # 85% of 30 # 连续出勤约束 for k in employees: for d in range(len(days)-7): prob += lpSum([x[d+i][s][k] for i in range(8) for s in shifts]) <= 7 # 均衡性通过辅助变量实现 avg_attendance = 25.5 / len(employees) for k in employees: prob += attendance[k] >= avg_attendance - delta prob += attendance[k] <= avg_attendance + delta在实际编码中，这类大规模整数规划问题可能需要：
- 列生成法等高级优化技术
- 分解为多个子问题迭代求解
- 使用CPLEX/Gurobi等商业求解器（如果比赛允许）
5. 工程实践中的常见陷阱与解决方案
5.1 数据泄露问题
在时间序列预测中，最常见的错误是未来信息泄露。比如在特征工程时，如果使用全局统计量（如整个时间段的均值）进行标准化，就会导致模型"偷看"未来数据。正确的做法是采用滚动窗口统计：
# 错误的全局标准化 scaler = StandardScaler() scaler.fit(all_data) # 泄露未来信息 # 正确的滚动标准化 window_size = 30 for i in range(window_size, len(data)): window = data[i-window_size:i] current = data.iloc[i] scaled_value = (current - window.mean()) / window.std()5.2 预测与优化的衔接
很多团队在预测阶段表现优异，却在优化阶段简单地将预测值直接代入，导致排班方案不符合实际。我的经验是：
- 保留预测的不确定性：提供分位数预测而非单点估计
- 采用鲁棒优化：考虑最坏情况下的资源需求
- 增加缓冲人员：根据预测误差的统计分布设置安全边际
5.3 结果可视化技巧
评委通常需要快速理解大量结果数据，好的可视化能事半功倍。我推荐：
热力图矩阵：展示57个分拣中心的预测货量变化
import seaborn as sns pivot_table = df.pivot("日期", "分拣中心", "货量") sns.heatmap(pivot_table, cmap="YlGnBu")甘特图：直观显示员工排班计划
动态预测区间图：展示预测值及置信区间
在最终论文中，应该包含完整的代码实现关键步骤，但要注意：
- 删除调试代码和冗余输出
- 添加必要的注释
- 保持代码风格一致
- 提供简明的README说明运行环境依赖