当前位置：首页 > news >正文

基于SVM-RFE-LSTM的特征选择算法结合LSTM神经网络的多输入单输出回归预测python代码

news 2026/5/11 19:49:19

基于SVM-RFE-LSTM的特征选择算法结合LSTM神经网络的多输入单输出回归预测python代码代码包括一个独特的多输入单输出回归预测模型，它结合了支持向量机-递归特征消除（SVM-RFE）方法和长短期记忆（LSTM）神经网络。此代码不仅提供了从数据预处理到深度学习的全流程实现，而且还包含了详细的结果评估和数据可视化部分，非常适合于复杂回归问题。全面的特征选择：通过结合SVM和RFE，代码能够有效地从原始数据中选择最有影响力的特征，为后续的神经网络训练打下坚实基础。防止过拟合：内置Dropout层，减少过拟合，增强模型的泛化能力。自定义学习率：可调节的学习率设置，允许更精细的模型优化控制。细致的性能评估：包含MSE、MAE和R2等多个评估指标，全面反映模型性能。直观的结果可视化：提供训练和验证损失曲线、预测与实际值对比图，以及误差分布的直方图，使结果分析直观易懂。

最近在折腾时间序列预测的时候发现，当输入特征维度爆炸时，常规的LSTM模型很容易变成玄学调参。于是搞了个缝合怪方案——用SVM-RFE给特征做瘦身，再喂给定制版LSTM，实测比硬怼原始数据靠谱多了。下面直接上代码，咱们边看边聊。

def preprocess(data): scaler = StandardScaler() scaled_data = scaler.fit_transform(data) # 构造滑动窗口（时间序列祖传手艺） seq_length = 10 X, y = [], [] for i in range(len(scaled_data)-seq_length): X.append(scaled_data[i:i+seq_length]) y.append(scaled_data[i+seq_length, -1]) # 多输入单输出结构 return np.array(X), np.array(y)

这个滑动窗口有个隐藏技巧：输出节点只抓最后一列数据。相当于让模型学会从多维特征中捕捉核心趋势，比全量输出更聚焦。

接下来是重头戏特征选择，这里用SVM-RFE玩了个骚操作：

from sklearn.feature_selection import RFE from sklearn.svm import SVR def feature_selector(X, y, n_features): estimator = SVR(kernel="linear") selector = RFE(estimator, n_features_to_select=n_features, step=10) selector = selector.fit(X.reshape(X.shape[0], -1), y) # 把时间步展平 # 获取重要特征的时间位置 selected_indices = np.where(selector.support_)[0] return X[:, :, selected_indices % X.shape[2]] # 还原三维结构

这个reshape操作有点意思——把（样本数，时间步，特征）的三维数据压扁成二维，选完特征再还原。相当于在时间维度上做全局筛选，比单纯按特征重要性排序更符合时序特性。

模型架构才是真功夫，看这个双LSTM带Dropout的配置：

def build_model(input_shape): model = Sequential() # 第一层LSTM返回完整序列（方便特征传递） model.add(LSTM(64, return_sequences=True, input_shape=input_shape)) model.add(Dropout(0.3)) # 第二层做特征压缩 model.add(LSTM(32, return_sequences=False)) model.add(Dense(16, activation='relu')) model.add(Dense(1)) # 自定义学习率（比固定lr更灵活） optimizer = Adam(learning_rate=0.001) model.compile(loss='mse', optimizer=optimizer) return model

注意第一个LSTM层的return_sequences=True，这个设置让时间步信息能传递到下一层，相当于给模型装了个望远镜，比单层LSTM更容易捕捉长程依赖。

训练环节有个小trick：

# 早停策略+动态验证集 early_stop = EarlyStopping(monitor='val_loss', patience=15, restore_best_weights=True) history = model.fit( X_train, y_train, epochs=200, batch_size=32, validation_split=0.2, callbacks=[early_stop], verbose=0 # 安静模式适合批量跑实验 )

设置verbose=0后突然发现个现象：很多教程里显示的进度条其实会影响训练速度，特别是用服务器跑的时候。去掉输出能省5%左右的训练时间，批量实验时效果显著。

结果可视化才是灵魂所在，这个三件套够用了：

# 预测对比曲线 plt.plot(y_test[:200], label='Ground Truth') plt.plot(predictions[:200], label='Predictions', alpha=0.7) plt.legend() # 误差分布直方图 sns.histplot(errors, kde=True) # 动态损失曲线 plt.plot(history.history['loss'], label='Training Loss') plt.plot(history.history['val_loss'], label='Validation Loss') plt.yscale('log') # 对数坐标更容易观察收敛情况

特别推荐用对数坐标看损失曲线，当MSE在0.01量级波动时，线性坐标根本看不出变化趋势，对数尺度下的小波动反而能暴露潜在问题。

实际跑下来发现几个反直觉的点：