当前位置：首页 > news >正文

MLP_BREW网络优化分析

news 2026/5/12 14:34:30

MLP模型Loss优化问题分析与解决过程

文档概述

创建时间: 2026年3月3日
问题描述: MLP模型训练时loss卡在0.08左右无法进一步减小
使用模型: GitHub Copilot (使用deepseek-chat via OAI Compatible)
分析工具: VS Code + Python分析工具集

问题背景

原始问题

用户报告MLP模型在训练过程中loss始终只能优化到0.08左右，无法进一步减小。在训练过程中可以看到在50轮次时loss从0.8下降至0.08，但之后无法继续下降。

模型概况

模型类型: 六层感知机（MLP）
输入特征: 3个（Alcohol_Content, Bitterness, Color）
输出目标: Fermentation_Time
当前性能: Loss卡在0.08，预测误差较大

初始问题分析

第一阶段：代码结构分析

首先分析了MLP_test.py文件的结构，发现以下潜在问题：

模型架构问题:
- 网络层数: 3 → 30 → 300 → 1000 → 300 → 30 → 1
- 激活函数: ReLU
- 输出层: 线性层，无激活函数
数据预处理问题:
- 使用MinMaxScaler进行归一化
- 训练和测试时归一化处理不一致
训练配置问题:
- 优化器: Adam (lr=0.001)
- 损失函数: MSE
- 训练轮次: 200

第二阶段：数据特征分析

查看了训练数据和归一化预览文件，发现：

Fermentation_Time范围: 10-19天
特征已归一化到0-1范围
但测试结果显示预测值在3000+范围，与真实值完全不在同一数量级

诊断过程

步骤1：问题定位

通过分析测试结果文件20260303-171841-test-Fermentation_Time.txt发现：

预测值: 3000+范围
真实值: 0-1范围（归一化后）
MSE: 1435万，说明模型完全失效

步骤2：根本原因分析

发现测试函数中存在严重问题：

# 错误代码
y_pred = y_pred_scaled  # 没有进行反归一化
# y_true = scaler_y.inverse_transform(y_true.reshape(-1, 1)).flatten()  # 这行被注释了

步骤3：相关性分析

运行相关性分析发现关键问题：

Pearson相关系数矩阵:Alcohol_Content  Bitterness     Color  Fermentation_Time
Alcohol_Content           1.000000   -0.026059  0.011039           0.005450
Bitterness               -0.026059    1.000000  0.005605          -0.008456
Color                     0.011039    0.005605  1.000000           0.002739
Fermentation_Time         0.005450   -0.008456  0.002739           1.000000

关键发现: 所有特征与Fermentation_Time的相关性都接近0！

生成的代码文件

1. 方案1修复脚本

文件名: fix_output_layer.py
创建时间: 2026年3月3日
位置: ai_log/temp/fix_output_layer.py
作用: 修复输出层和反归一化问题
主要改进:
- 添加Sigmoid输出层激活函数
- 修复反归一化逻辑
- 简化模型架构
- 添加BatchNorm和Dropout
- 添加学习率调度器

2. 相关性分析脚本

文件名: analyze_correlation.py
创建时间: 2026年3月3日
位置: ai_log/temp/analyze_correlation.py
作用: 分析特征与目标变量的相关性
主要功能:
- 计算Pearson相关系数矩阵
- 生成特征与目标散点图
- 分析特征分布
- 提出特征工程建议

3. 根本问题诊断脚本

文件名: diagnose_fundamental_issue.py
创建时间: 2026年3月3日
位置: ai_log/temp/diagnose_fundamental_issue.py
作用: 诊断特征与目标缺乏相关性的根本问题
主要功能:
- 线性回归基准测试
- 随机特征对比测试
- 单个特征重要性分析
- 生成诊断报告

4. 原始数据集分析脚本

文件名: analyze_original_dataset.py
创建时间: 2026年3月3日
位置: ai_log/temp/analyze_original_dataset.py
作用: 分析原始数据集寻找更多相关特征
主要发现:
- 原始数据集有20个特征
- 当前只使用了3个特征
- 即使使用所有特征，与Fermentation_Time的相关性仍然很弱

关键发现

1. 技术性问题

反归一化缺失: 测试时未进行反归一化，导致预测值与真实值不在同一数量级
输出层问题: 线性输出层导致输出无界，预测值异常
模型架构过深: 对于只有3个特征的问题，6层网络可能过深

2. 数据性问题（根本问题）

特征相关性极低: 所有特征与Fermentation_Time的相关系数接近0
线性回归R²=0.000106: 几乎无预测能力
与随机特征效果相当: 当前特征与随机生成的特征预测效果相似

3. 原始数据集分析结果

原始数据集包含20个特征，但相关性分析显示：

与Fermentation_Time相关性最高的特征:
1. Loss_During_Fermentation    : -0.0702 (弱相关)
2. Loss_During_Bottling_Kegging: -0.0470 (弱相关)
3. Batch_ID                    : -0.0465 (弱相关)
4. Loss_During_Brewing         : -0.0336 (弱相关)
5. Gravity                     : -0.0336 (弱相关)

根本问题诊断

诊断结论

当前使用的3个特征（Alcohol_Content, Bitterness, Color）与目标变量Fermentation_Time几乎没有统计相关性！

证据支持

统计证据:
- 线性回归R² = 0.000106（几乎为0）
- 单个特征R²都小于0.0001
- 相比随机特征的改进：-0.00%
模型表现证据:
- MLP模型只能学习到目标变量的平均值（约14.45天）
- 预测值全部集中在15.4-15.7天范围
- 缺乏预测多样性
领域知识推断:
- Fermentation_Time可能由未测量的因素决定
- 当前特征可能不是因果性特征
- 需要领域专业知识指导特征选择

解决方案建议

方案A：调整问题定义（推荐）

既然Fermentation_Time难以预测，可以考虑：

预测其他更容易的目标:
- Quality_Score（质量评分）
- Total_Sales（总销售额）
- Brewhouse_Efficiency（酿酒厂效率）
改为分类问题:
- 将Fermentation_Time分桶：短(10-13天)、中(14-16天)、长(17-19天)
- 使用分类模型（如逻辑回归、随机森林）
无监督学习:
- 聚类分析发现酿造模式
- 异常检测识别异常批次