从2010到2024：手把手教你用Python分析CUMCM历年赛题趋势（附数据与代码）
从2010到2024：用Python解码数学建模竞赛的15年演变密码
数学建模竞赛的题目就像一面镜子，映照出时代的技术热点和社会需求。当我第一次整理这15年的赛题时，发现2010年的"储油罐变位识别"和2024年的"交通流量管控"之间，隐藏着一条清晰的技术演进轨迹。本文将用Python的数据分析工具，带你看清这条轨迹的每一个转折点。
1. 数据准备与预处理
1.1 构建结构化数据集
我们需要将历年赛题转化为可分析的结构化数据。使用pandas创建DataFrame是最佳选择：
import pandas as pd # 构建基础数据结构 years = range(2010, 2025) problems = ['A', 'B', 'C', 'D', 'E'] columns = ['year'] + problems # 从原始数据创建DataFrame data = { # 此处应填入实际的题目数据 # 示例格式： 2010: { 'A': '储油罐的变位识别与罐容表标定', 'B': '2010年上海世博会影响力的定量评估', # ...其他题目 }, # ...其他年份数据 } df = pd.DataFrame.from_dict(data, orient='index').reset_index() df.columns = columns1.2 文本清洗与关键词提取
赛题文本需要标准化处理才能进行有效分析：
import jieba from collections import Counter def extract_keywords(text): # 去除标点符号 text = ''.join([char for char in text if char.isalnum() or char.isspace()]) # 使用jieba分词 words = jieba.lcut(text) # 过滤停用词和单字 stopwords = ['的', '与', '及', '对', '在', '是', '等'] keywords = [word for word in words if len(word) > 1 and word not in stopwords] return Counter(keywords)2. 核心趋势分析
2.1 关键词的时空演变
通过词频统计和可视化，可以清晰看到技术热点的变迁：
import matplotlib.pyplot as plt from wordcloud import WordCloud # 按时间段分组分析 periods = { '2010-2014': df[df['year'].between(2010, 2014)], '2015-2019': df[df['year'].between(2015, 2019)], '2020-2024': df[df['year'].between(2020, 2024)] } # 生成词云 for period, period_df in periods.items(): all_text = ' '.join(period_df[problems].values.flatten()) wordcloud = WordCloud(font_path='simhei.ttf').generate(all_text) plt.figure() plt.imshow(wordcloud) plt.title(f'{period}年关键词词云') plt.axis('off')分析发现三个明显阶段特征：
| 时间段 | 高频关键词 | 技术特征 |
|---|---|---|
| 2010-2014 | 评估、设计、分析、优化 | 传统建模方法为主 |
| 2015-2019 | 互联网+、智能、数据、决策 | 数字化转型初现 |
| 2020-2024 | 人工智能、优化、预测、自动 | 智能算法占据主导 |
2.2 题目类型的定量分析
将赛题按建模类型分类统计：
# 定义题目类型标签 categories = { '优化问题': ['优化', '设计', '配置', '调度'], '评估问题': ['评估', '分析', '影响', '效果'], '预测问题': ['预测', '估计', '预报', '推断'], '决策问题': ['决策', '策略', '方案', '选择'] } def classify_problem(title): for cat, keywords in categories.items(): if any(keyword in title for keyword in keywords): return cat return '其他'3. 深度特征挖掘
3.1 题目复杂度演变
通过题目长度和关键词数量衡量题目复杂度：
df['complexity'] = df[problems].applymap( lambda x: len(str(x)) + len(extract_keywords(str(x))) ).mean(axis=1) plt.figure(figsize=(10,5)) plt.plot(df['year'], df['complexity'], marker='o') plt.xlabel('年份') plt.ylabel('综合复杂度指数') plt.title('2010-2024年赛题复杂度变化趋势') plt.grid(True)3.2 行业领域分布
分析赛题涉及的行业领域变化：
industries = { '工程技术': ['油罐', '输油管', '太阳能', '嫦娥', '系泊'], '社会经济': ['世博', '养老金', '出租车', '信贷', '商场'], '信息技术': ['成像', '辨识', '自动标注', '无人机', '卫星'], '生态环境': ['污染', '空气质量', '水沙', '波浪能', '农作物'] } # 统计各领域占比变化 industry_trend = pd.DataFrame(index=years, columns=industries.keys()) for year in years: for industry, keywords in industries.items(): count = sum(any(kw in str(p) for kw in keywords) for p in df[df['year']==year][problems].values.flatten()) industry_trend.loc[year, industry] = count4. 实战：构建趋势预测模型
4.1 特征工程
基于前文分析构建预测特征：
# 时间特征 df['year_norm'] = (df['year'] - df['year'].min()) / (df['year'].max() - df['year'].min()) # 技术趋势特征 tech_keywords = ['智能', '数据', '自动', '学习', '网络'] df['tech_score'] = df[problems].applymap( lambda x: sum(kw in str(x) for kw in tech_keywords) ).sum(axis=1) # 构建训练集 X = df[['year_norm', 'tech_score']] y = df['complexity']4.2 使用Prophet进行趋势预测
from prophet import Prophet # 准备时间序列数据 ts_data = df[['year', 'complexity']].rename(columns={'year': 'ds', 'complexity': 'y'}) # 训练模型 model = Prophet(yearly_seasonality=True) model.fit(ts_data) # 预测未来3年 future = model.make_future_dataframe(periods=3, freq='Y') forecast = model.predict(future)5. 竞赛备战策略建议
基于数据分析结果，给出针对性建议：
技术栈准备优先级
- 必须掌握：优化算法(Python实现)
- 重点掌握：机器学习基础
- 推荐了解：深度学习框架
历年题目练习路线图
# 按技术演进阶段分类练习 practice_path = { '基础阶段': [2010, 2011, 2012], '过渡阶段': [2015, 2016, 2017], '前沿阶段': [2021, 2022, 2023] }常见失分点预警
- 数据预处理不充分
- 模型解释不清晰
- 可视化表达不专业
在完成这些分析后，我注意到2020年后的赛题明显增加了对跨学科知识的要求。比如2023年的"蔬菜定价"问题就融合了经济学和机器学习，这种趋势值得参赛者特别关注。