【人工智能训练师3级】考试准备（2026）六、实操题-简答部分2.2.1-2.2.5模型训练分析

📝 2.2.1

2.2.1 Logistic模型 答题卷标准答案（直接复制填写）

一、模型性能

二、错误分析

0（没有严重逾期）：

1. 识别能力极强，但存在轻微过度拟合：精准率（0.95）和召回率（0.99）接近1，说明模型能几乎100%识别“无严重逾期”的低风险用户，f1-score=0.97也验证了该类别预测效果极佳；
2. 样本占比主导导致偏向性：该类别样本量（26779）远高于“有严重逾期”类别（1737），模型天然倾向于预测多数类，进一步放大了对该类别的识别能力。

1（有严重逾期）：

1. 精准率低（0.58）：模型预测为“有严重逾期”的结果中，仅58%是真实逾期用户，存在大量“误判低风险为高风险”的情况，会导致优质客户被错误拒贷；
2. 召回率极低（0.12）：真实逾期用户中仅12%被模型识别出来，90%以上的高风险用户被漏判，会导致平台面临极大的信贷违约风险；
3. f1-score仅0.20：综合精准率和召回率，模型对“有严重逾期”的高风险用户识别能力极差，核心原因是数据严重不平衡（正负样本比例≈15:1），Logistic回归作为线性模型无法突破样本分布的限制；
4. 线性假设不适配：信贷逾期风险受债务比率、逾期次数等特征的非线性影响，Logistic回归的线性决策边界无法捕捉复杂风险规律，进一步降低高风险类别的识别能力。

三、改进建议

1. 解决数据不平衡问题（核心）

• 过采样：对“有严重逾期”的少数类样本做SMOTE过采样，平衡正负样本比例；
• 欠采样：对“无严重逾期”的多数类样本做随机欠采样，减少样本量差距；
• 权重调整：在Logistic模型中设置class_weight='balanced'，赋予少数类更高的损失权重，强制模型关注高风险用户。

2. 模型优化

• 更换非线性模型：使用XGBoost/LightGBM等树模型替代Logistic回归，这类模型能捕捉特征间的非线性交互（如“高债务比率+多次逾期”的联合风险），提升高风险类别的识别率；
• 正则化优化：对Logistic回归添加L2正则（C=0.1），抑制噪声特征干扰，提升模型泛化能力。

3. 特征工程增强

• 特征衍生：构建“逾期次数总和=30-59天逾期+60-89天逾期+90天以上逾期”“债务收入比=DebtRatio/MonthlyIncome”等强风险特征；
• 特征筛选：通过特征重要性/卡方检验，保留“逾期次数”“债务比率”“月收入”等核心风险特征，剔除冗余特征（如索引号）；
• 特征标准化：对年龄、月收入等数值特征做标准化，提升Logistic回归系数的稳定性。

4. 评估指标优化

• 不再单一依赖准确率，改用AUC、PR曲线、F1-score（针对少数类）评估模型，更贴合信贷风控的业务目标（优先识别高风险用户）。

精简版（适合短空格填写）

错误分析

0类：精准率/召回率近1，识别效果极佳，但受样本占比影响存在偏向性；
1类：精准率0.58、召回率0.12，漏判90%高风险用户，核心因数据不平衡+线性模型无法捕捉非线性风险。

改进建议

1. SMOTE过采样平衡数据，设置class_weight=balanced；
2. 改用XGBoost模型捕捉非线性风险；
3. 构建债务收入比等强风险特征，用AUC/PR曲线评估模型。

2.2.2 线性回归模型标准答案（直接复制填空）

一、模型性能

训练集得分:0.826001578671067
测试集得分:0.7901500386760345

二、错误分析

1. 模型拟合能力有限
   线性回归测试集得分仅为0.79，低于随机森林的 0.89，说明线性模型对汽车燃油效率（MPG）的预测能力不足，无法完全捕捉特征与目标变量之间的复杂关系。

2. 模型存在欠拟合
   训练集得分（0.83）与测试集得分（0.79）接近但整体不高，表明线性回归假设特征与燃油效率呈线性关系，但实际汽车油耗受排量、重量、功率等因素的非线性影响，模型无法学习到深层规律，导致预测精度偏低。

3. 对异常值与特征尺度敏感
   线性回归容易受数据中异常值（如大排量车型）干扰，且未做特征标准化时，不同量级特征（如重量、功率）会影响模型系数稳定性，进一步降低泛化能力。

三、改进建议

1. 更换非线性模型（已完成优化）
   使用随机森林回归模型替代线性回归，能有效捕捉非线性关系，测试集得分从 0.79 提升至 0.89，显著提高预测精度。

2. 特征工程优化
   对排量、重量、马力等关键特征做交互项构建与多项式转换，让线性模型也能表达非线性关系；筛选与油耗强相关的核心特征，剔除冗余信息。

3. 模型正则化优化
   使用 Ridge / Lasso 正则化线性模型，抑制噪声特征影响，提升模型稳定性与泛化能力。

4. 数据预处理增强
   对异常值进行过滤，对数值特征做标准化处理，保证模型训练更平稳、预测更准确。

精简版（适合短空格填写）

线性回归测试集得分0.79，拟合效果一般；因模型只能学习线性关系，存在欠拟合，对非线性规律捕捉不足。建议改用随机森林、优化特征、加入正则化提升性能。

2.2.3

1. 模型性能评估

本次基于性别、运动重要性、健康自评3个特征预测年龄的任务中，随机森林与线性回归模型的表现均严重不达标：

• R²为负的本质：回归模型的R²正常范围为0~1，负数代表模型预测误差远大于“直接用样本均值预测”的基准，说明模型完全无法解释年龄与输入特征的关联。
• MSE过高的影响：MSE≈109对应预测年龄与真实年龄的平均误差超10岁，完全不具备实际业务价值。

2. 错误原因深度分析

（1）核心根源：特征与目标变量的关联性极弱

本次仅使用3个主观分类特征（性别、运动重要性、健康自评），这些特征与年龄无强因果关联：

• 性别对年龄无直接预测性；
• 运动重要性、健康自评是主观认知，不同年龄段的分布高度重叠，无法提供有效区分信号；
• 特征数量过少、信息维度不足，无法支撑任何回归模型学习年龄规律。

（2）模型选择与数据不匹配

• 随机森林、XGBoost等复杂树模型，在弱特征、小样本场景下极易过拟合噪声，进一步放大预测误差；
• 线性回归本身对非线性、弱关联特征的拟合能力有限，在本任务中同样无法提取有效规律。

（3）数据预处理的潜在问题

• 年龄段文本转整数时仅取区间首值（如“20-30岁”取20），丢失了区间信息，导致目标变量分布失真；
• 分类特征编码后维度极低，无法为模型提供足够的区分度。

3. 改进建议（可落地、考试必拿分）

（1）特征工程优化（最核心）

• 补充强关联特征：新增运动频率、BMI、作息习惯、饮食习惯、身体指标等与年龄强相关的客观特征，提升特征对目标变量的解释力；
• 优化目标变量处理：将年龄段转换为区间中位数（如“20-30岁”取25），还原目标变量的连续性；
• 特征编码优化：对分类特征采用独热编码，避免数值大小误导，提升特征有效性。

（2）模型选型与调优

• 弱特征场景下，优先使用简单模型（如线性回归）验证特征有效性，避免复杂模型过拟合；
• 若使用树模型，需增加正则化参数（如随机森林限制max_depth、XGBoost调整learning_rate），抑制过拟合。

（3）数据质量提升

• 清洗异常值（如极端年龄、无效问卷），提升数据可靠性；
• 扩大样本量，增强模型的泛化能力。

4. 最终结论

本次模型失效的核心原因是输入特征与年龄的关联性极弱、特征数量不足，导致无论简单还是复杂模型，均无法学习到有效规律。通过补充强关联特征、优化数据预处理、匹配适配的模型，可显著提升年龄预测的准确性，满足健康管理场景的业务需求。

三、补充：一句话精简版（适合答题卷短答）

本次随机森林与线性回归模型的测试集R²均为负数，MSE高达109，说明模型完全无预测能力。核心原因是输入特征（性别、运动重要性、健康自评）与年龄关联性极弱、特征数量不足，导致模型无法学习有效规律。需通过补充强关联特征、优化数据预处理、适配简单模型等方式改进。

📄 2.2.4

1、模型性能

2、错误分析

1. 模型拟合能力不足：R²仅为0.185，说明线性回归模型仅能解释18.5%的大学生低碳生活行为变异，剩余81.5%的行为差异无法通过现有特征和线性关系解释，核心原因是低碳生活行为受“认知-态度-行为”链式非线性因素影响，而线性回归假设特征与目标变量为线性关联，无法捕捉这类非线性关系。
2. 特征利用效率低：独热编码后的分类特征（如性别、年级）与低碳行为的关联为非线性，线性回归无法挖掘特征间的交互作用（如“高年级×高低碳认知”的联合影响），导致特征价值未充分发挥。
3. 模型泛化能力有限：MSE=0.0247虽数值较小，但结合低R²可知，模型仅能拟合训练集局部线性规律，对测试集新样本的预测能力弱，存在“欠拟合”问题。

3、改进建议

1. 模型优化：引入带正则化的线性模型（如Ridge回归/Lasso回归），通过L2/L1正则抑制噪声特征影响，提升模型稳定性；或直接采用非线性模型（如本次XGBoost），捕捉特征与目标变量的非线性关联。
2. 特征工程增强：构建衍生特征（如“低碳认知总分=各认知题项均值”“行为意愿×认知程度”交互项），提升特征与目标变量的关联性；利用特征重要性筛选核心特征（如“低碳知识了解度”“家人低碳行为影响”），剔除冗余特征。
3. 数据预处理优化：对数值型特征做标准化（StandardScaler），提升线性回归系数的解释性和收敛速度；补充样本量或平衡样本分布（如不同年级/性别样本占比），增强模型泛化能力。

总结

1. 线性回归核心问题是无法拟合非线性关系，导致R²偏低、解释力不足；
2. 改进核心方向为“模型升级（非线性）+ 特征增强 + 数据优化”；
3. 对比XGBoost结果（R²=0.415），验证了非线性模型更适配本次低碳行为预测任务。

2.2.5

一、模型性能评估

均方误差 (MSE):8096170.758224316
平均绝对误差 (MAE):2421.827880665033
决定系数 (R²):-0.1541458336017123

二、错误分析

1. 模型完全失效，预测能力极差
   决定系数R²为负数，说明决策树模型的预测效果比直接猜平均值还要差，完全没有学习到有效规律，属于严重欠拟合/无效模型。

2. 预测误差巨大，无实用价值
   均方误差高达809万，平均绝对误差达到2421步，意味着模型预测的每日步数与真实值平均偏差超过2400步，误差过大，无法用于健康步数预测。

3. 特征与目标变量关联性极弱
   仅使用性别、运动重要性、健康自评3个特征，与每日步数无强相关关系，无法为模型提供有效预测信号，导致决策树无法正确划分规则。

4. 决策树模型未做参数限制
   默认决策树深度无限制，容易出现过拟合训练集噪声，在测试集上泛化能力完全失效，最终导致负R²。

三、改进建议

1. 补充强关联特征
   新增运动时长、运动频率、体重、身高、睡眠质量等与每日步数强相关的特征，提升模型可学习的有效信息。

2. 优化决策树模型参数
   限制树深度（max_depth=5~8）、设置最小样本分裂数与叶子节点数，防止过拟合，提升泛化能力。

3. 更换更稳定的模型
   使用随机森林、线性回归等更稳定的模型替代单一决策树，减少噪声影响，提升预测精度。

4. 数据清洗与异常值处理
   对每日步数中的极端异常值进行过滤或修正，避免异常数据干扰模型训练。

一句话精简版（适合短空填写）

模型R²为负，预测完全无效；误差超2400步，特征关联性弱、决策树过拟合是主因；需补充强特征、限制树深度、替换集成模型提升效果。