Python实战：7种回归算法评估与波士顿房价预测
1. 回归算法快速评估实战指南
在机器学习项目中，我们常常面临一个关键问题：面对众多算法，如何快速找到最适合当前数据集的模型？这就是算法快速评估（Spot-Checking）的价值所在。今天我将分享如何使用Python的scikit-learn库对7种经典回归算法进行系统评估，并基于波士顿房价数据集给出完整实现方案。
为什么需要快速评估？根据我的项目经验，在真实业务场景中，数据科学家平均要尝试5-8种不同算法才能确定最佳模型。盲目选择算法可能导致两种风险：一是错过表现更好的模型，二是浪费大量时间在低效算法上。通过系统化的快速评估，我们可以在项目初期就锁定最有潜力的候选算法。
本次评估将使用经典的波士顿房价数据集（Boston Housing Dataset），该数据集包含506个样本和13个特征，目标变量是房屋价格中位数。虽然数据集规模不大，但特征类型丰富（包含连续值和离散值），非常适合用于算法评估演示。
2. 评估框架设计
2.1 评估指标选择
我们选择负均方误差（Negative Mean Squared Error）作为评估指标，这是回归问题最常用的指标之一。scikit-learn的cross_val_score()函数要求指标值越大越好，因此使用负MSE（实际是MSE的相反数）来满足这一要求。
from sklearn.model_selection import cross_val_score scoring = 'neg_mean_squared_error'2.2 交叉验证方案
采用10折交叉验证（10-fold CV）来确保评估结果的稳定性。设置随机种子（random_state=7）保证结果可复现：
from sklearn.model_selection import KFold seed = 7 kfold = KFold(n_splits=10, random_state=seed, shuffle=True)注意：在实际项目中，当数据量较小时（如<1000样本），建议使用10折CV；数据量较大时可考虑5折CV以减少计算时间。shuffle=True参数在分类问题中尤为重要，可以确保每折的类别分布均衡。
2.3 数据准备
加载并预处理波士顿房价数据：
import pandas as pd url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/housing.data" names = ['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PTRATIO','B','LSTAT','MEDV'] df = pd.read_csv(url, delim_whitespace=True, names=names) X = df.iloc[:,0:13].values y = df.iloc[:,13].values3. 线性回归算法评估
3.1 普通线性回归
作为基线模型，我们先评估最基本的线性回归：
from sklearn.linear_model import LinearRegression model = LinearRegression() results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"Linear Regression MSE: {-results.mean():.3f}")典型输出结果：
Linear Regression MSE: 34.7053.2 岭回归（Ridge Regression）
岭回归通过L2正则化解决线性回归的过拟合问题：
from sklearn.linear_model import Ridge model = Ridge(alpha=1.0) # 默认alpha=1.0 results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"Ridge Regression MSE: {-results.mean():.3f}")典型输出：
Ridge Regression MSE: 34.078实战技巧：alpha参数控制正则化强度，可通过网格搜索优化。一般尝试范围是10的幂次方（如0.001, 0.01, 0.1, 1, 10, 100）
3.3 Lasso回归
Lasso回归使用L1正则化，可以产生稀疏模型（部分系数为0）：
from sklearn.linear_model import Lasso model = Lasso(alpha=0.1) # 比Ridge更小的alpha results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"Lasso Regression MSE: {-results.mean():.3f}")典型输出：
Lasso Regression MSE: 34.4643.4 ElasticNet回归
结合L1和L2正则化的弹性网络回归：
from sklearn.linear_model import ElasticNet model = ElasticNet(alpha=0.1, l1_ratio=0.5) # l1_ratio=0.5表示L1和L2各占一半 results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"ElasticNet MSE: {-results.mean():.3f}")典型输出：
ElasticNet MSE: 31.1654. 非线性回归算法评估
4.1 K近邻回归（KNN）
基于实例的学习方法，不需要显式训练：
from sklearn.neighbors import KNeighborsRegressor model = KNeighborsRegressor(n_neighbors=5) # 默认使用5个邻居 results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"KNN Regression MSE: {-results.mean():.3f}")典型输出：
KNN Regression MSE: 107.287问题排查：KNN表现较差可能是因为特征尺度不一致。建议先进行标准化：
from sklearn.preprocessing import StandardScaler X_scaled = StandardScaler().fit_transform(X)
4.2 决策树回归
非参数化的树模型，可以捕捉非线性关系：
from sklearn.tree import DecisionTreeRegressor model = DecisionTreeRegressor(max_depth=None) # 不限制最大深度 results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"Decision Tree MSE: {-results.mean():.3f}")典型输出：
Decision Tree MSE: 35.4914.3 支持向量回归（SVR）
基于核方法的强大回归器：
from sklearn.svm import SVR model = SVR(kernel='rbf', C=1.0) # 默认使用RBF核 results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"SVR MSE: {-results.mean():.3f}")典型输出：
SVR MSE: 91.048性能优化：SVR对特征缩放敏感，建议先标准化数据。同时可以尝试不同的核函数（linear, poly, sigmoid）和参数组合。
5. 算法性能对比与选择建议
将各算法表现汇总如下表：
| 算法类型 | 算法名称 | 平均MSE | 训练速度 | 适用场景 |
|---|---|---|---|---|
| 线性模型 | 线性回归 | 34.705 | 快 | 特征与目标线性相关 |
| 线性模型 | 岭回归 | 34.078 | 快 | 存在轻度多重共线性 |
| 线性模型 | Lasso回归 | 34.464 | 快 | 特征选择需求强 |
| 线性模型 | ElasticNet | 31.165 | 快 | 特征多且相关性强 |
| 非线性模型 | KNN | 107.287 | 中等 | 小数据集，局部模式明显 |
| 非线性模型 | 决策树 | 35.491 | 快 | 需要模型可解释性 |
| 非线性模型 | SVR | 91.048 | 慢 | 高维小样本数据 |
从结果可以看出，在这个数据集上，ElasticNet表现最好（MSE=31.165），其次是普通的线性回归和正则化变体。非线性模型中，决策树表现尚可，而KNN和SVR表现不佳。
根据我的项目经验，给出以下建议：
- 对于结构化表格数据，建议先尝试线性模型和树模型
- 当特征数量远大于样本量时，优先考虑L1正则化模型
- 计算资源有限时，避免使用SVR等计算密集型算法
- 实际项目中应该进行超参数调优，本文展示的是默认参数效果
6. 进阶优化方向
6.1 特征工程优化
尝试以下特征变换可能提升模型表现：
# 对数变换处理偏态分布 df['log_CRIM'] = np.log(df['CRIM'] + 1) # 加1避免log(0) # 交互特征 df['RM_x_LSTAT'] = df['RM'] * df['LSTAT'] # 分箱离散化 df['AGE_bin'] = pd.cut(df['AGE'], bins=5, labels=False)6.2 模型集成
组合多个基础模型往往能获得更好表现：
from sklearn.ensemble import RandomForestRegressor model = RandomForestRegressor(n_estimators=100) results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"Random Forest MSE: {-results.mean():.3f}") from sklearn.ensemble import GradientBoostingRegressor model = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1) results = cross_val_score(model, X, y, cv=kfold, scoring=scoring) print(f"GBRT MSE: {-results.mean():.3f}")6.3 自动化机器学习
使用scikit-learn的自动化工具简化流程：
from sklearn.model_selection import GridSearchCV param_grid = {'alpha': [0.001, 0.01, 0.1, 1, 10]} grid = GridSearchCV(Ridge(), param_grid, cv=kfold, scoring=scoring) grid.fit(X, y) print(f"Best Ridge alpha: {grid.best_params_}, MSE: {-grid.best_score_:.3f}")在实际项目中，我通常会建立一个算法评估流水线，自动测试多种算法和参数组合，然后对表现最好的几个模型进行深入调优。这种方法既保证了评估的全面性，又不会在初期就陷入某个算法的细节调参中。