避开B题大坑！华中杯数学建模中‘文本转数据’的3个实用技巧与相似度计算实战
华中杯数学建模B题突围指南：文本特征工程与相似度计算实战解析
面对华中杯数学建模竞赛B题"小学数学应用题相似性度量及难度评估"，许多参赛团队在文本定量化这一关键环节陷入困境。本文将打破常规解题框架，从特征工程构建、轻量级NLP技术应用和相似度算法选型三个维度，提供一套可落地的解决方案。
1. 文本特征工程的黄金法则
小学数学应用题的文字描述看似杂乱无章，实则隐藏着可量化的结构特征。我们首先需要建立特征提取的标准化流程：
数字实体捕获：识别题目中的所有数值及其单位
- 示例题目："小明买了3个苹果和5个橘子，每个苹果2元，每个橘子1.5元"
- 提取结果：
[3, 5, 2, 1.5]，单位[个, 个, 元/个, 元/个]
运算关系映射：将文字描述的数学关系转化为运算符
# 建立关键词到运算符的映射字典 operator_map = { '一共': '+', '总共': '+', '比...多': '-', '剩余': '-', '每...': '*' }问题类型分类：根据解题方法建立题型标签
题型特征词 类别标签 示例题目片段 "速度"、"时间" 行程问题 "汽车以60km/h行驶..." "百分比"、"折扣" 比例问题 "商品打八折后价格..." "年龄差"、"几年后" 年龄问题 "妈妈比小红大25岁..."
提示：特征提取时需保留原始文本的位置信息，这对后续相似度计算至关重要。例如"买3个苹果和5个橘子"与"买5个苹果和3个橘子"应视为不同特征。
2. NLP技术在数学题分析中的巧用
传统数学建模很少涉及自然语言处理，但适当引入NLP技术能显著提升文本量化效果：
2.1 基于TF-IDF的关键词加权
from sklearn.feature_extraction.text import TfidfVectorizer corpus = [ "小明买3个苹果和5个橘子", "小红有8块糖，吃掉3块", "汽车以60km/h行驶2小时" ] vectorizer = TfidfVectorizer(token_pattern=r'(?u)\b\w+\b') X = vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names_out()) # 输出：['60km', '8', '小时', '小明', '汽车', '苹果', '行驶', '橘子', '糖', '红有', '吃掉']2.2 词向量空间中的语义度量
使用预训练的中文词向量计算题目关键词的语义相似度：
import gensim.downloader as api model = api.load('word2vec-google-news-300') print(model.similarity('苹果', '橘子')) # 水果类相似度 print(model.similarity('汽车', '火车')) # 交通工具相似度2.3 句法结构分析
通过依存句法分析提取题目主干关系：
"小明买了3个苹果"的依存分析结果： 买(ROOT) ├─ 小明(主谓关系) └─ 苹果(动宾关系) └─ 3个(数量关系)3. 相似度算法的场景化选择
不同相似度度量方法适用于不同特征组合，以下是四种典型场景的算法选型指南：
3.1 数值特征对比
当题目主要差异体现在数字大小时，推荐使用改进的余弦相似度：
from sklearn.metrics.pairwise import cosine_similarity import numpy as np # 考虑数值大小和单位权重 def enhanced_cosine(vec1, vec2, unit_weights): weighted_vec1 = vec1 * unit_weights weighted_vec2 = vec2 * unit_weights return cosine_similarity([weighted_vec1], [weighted_vec2])[0][0]3.2 结构相似性计算
对于解题步骤相似性的评估，图编辑距离更为合适：
题目A结构图与题目B结构图的比对： 节点匹配度 = 相同运算符数量 / 总运算符数量 边相似度 = 1 - (需要调整的关系边数 / 总关系边数)3.3 综合相似度评估
建立多维度相似度融合模型：
| 特征维度 | 权重系数 | 适用算法 | 归一化方法 |
|---|---|---|---|
| 数值特征 | 0.4 | 改进余弦相似度 | Min-Max Scaling |
| 语义特征 | 0.3 | Word2Vec相似度 | Z-Score |
| 结构特征 | 0.2 | 图编辑距离 | 倒数转换 |
| 题型分类 | 0.1 | 分类匹配度 | 布尔值(0/1) |
# 综合相似度计算示例 def integrated_similarity(q1, q2): num_sim = enhanced_cosine(q1['numeric'], q2['numeric'], units_weight) sem_sim = semantic_similarity(q1['text'], q2['text']) struct_sim = graph_edit_distance(q1['graph'], q2['graph']) type_sim = 1 if q1['type'] == q2['type'] else 0 total = 0.4*num_sim + 0.3*sem_sim + 0.2*(1-struct_sim) + 0.1*type_sim return total / (0.4 + 0.3 + 0.2 + 0.1) # 加权平均4. 实战案例：应用题相似度评估系统
我们以具体案例演示完整处理流程：
题目A：商店有8箱苹果，每箱12个，卖出35个后还剩多少？
题目B：仓库库存60个橘子，运走25箱，每箱2个，还剩多少？
特征提取阶段：
{ "numeric": [8, 12, 35, 60, 25, 2], "units": ["箱", "个/箱", "个", "个", "箱", "个/箱"], "operators": ["*", "-", "*", "-"], "structure": ["库存", "销售", "剩余"] }相似度计算过程：
- 数值特征相似度：0.18（差异较大）
- 语义相似度：0.65（都是水果销售场景）
- 结构相似度：0.92（相同的解题逻辑）
- 题型分类：1（同属"剩余量计算"类）
最终相似度得分：
0.4*0.18 + 0.3*0.65 + 0.2*0.92 + 0.1*1 = 0.547
注意：实际应用中需根据题目库调整权重参数，可通过网格搜索确定最优组合。建议保留20%的题目作为验证集，用Spearman相关系数评估相似度计算结果与人工评判的一致性。
在具体实现时，建议采用模块化设计：
class ProblemSimilarity: def __init__(self): self.feature_extractor = FeatureEngineer() self.sim_calculator = SimilarityCalculator() def pipeline(self, text1, text2): feat1 = self.feature_extractor.transform(text1) feat2 = self.feature_extractor.transform(text2) return self.sim_calculator.compare(feat1, feat2)处理边界情况时需特别注意：
- 单位换算问题（如"米"与"厘米"）
- 同义词替换（"购买"与"买入"）
- 多解题题型（可能有多种正确解法）
- 隐含条件（如"两人同时出发"暗示时间相同）