机器学习 —— 网格搜索

摘要：网格搜索是机器学习中通过穷举超参数组合来优化模型性能的技术。Python中可使用sklearn的GridSearchCV类实现，需定义模型、超参数范围和评分指标。示例展示了随机森林分类器的超参数调优过程，包括n_estimators和max_depth的搜索，最终输出最佳参数组合及对应准确率。该方法通过交叉验证确保结果可靠性，是模型调参的常用手段。

目录

机器学习 —— 网格搜索

Python 实现

示例

输出结果

机器学习 —— 网格搜索

网格搜索（Grid Search）是机器学习中的一种超参数调优技术，可帮助为特定模型找到最佳的超参数组合。其工作原理是先定义一组超参数网格，然后使用所有可能的超参数组合训练模型，最终筛选出性能最优的组合。

换句话说，网格搜索是一种穷举搜索方法：先确定待优化的超参数集合，再遍历所有可能的超参数组合，最终找到能使模型性能达到最优的参数值。

Python 实现

在 Python 中，可通过sklearn模块的GridSearchCV类实现网格搜索。GridSearchCV类接收三个核心输入：模型本身、待调优的超参数集合以及评分函数。该类会对所有可能的超参数组合执行穷举搜索，最终返回性能最优的超参数组合及其对应的最高得分。

以下是使用GridSearchCV类实现网格搜索的示例代码：

示例

from sklearn.model_selection import GridSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import make_classification # 生成样本数据集 X, y = make_classification(n_samples=1000, n_features=10, n_classes=2) # 定义模型及待调优的超参数 model = RandomForestClassifier() hyperparameters = {'n_estimators': [10, 50, 100], 'max_depth': [None, 5, 10]} # 定义网格搜索对象并拟合数据 grid_search = GridSearchCV(model, hyperparameters, scoring='accuracy', cv=5) grid_search.fit(X, y) # 输出最佳超参数及对应得分 print("最佳超参数：", grid_search.best_params_) print("最佳得分：", grid_search.best_score_)

在本示例中，我们定义了随机森林分类器（RandomForestClassifier）作为待优化模型，并指定了两个待调优超参数：决策树数量（n_estimators）和每棵树的最大深度（max_depth）。随后创建GridSearchCV对象并通过fit()方法拟合数据，最后输出最优超参数组合及对应的最高得分。

输出结果

运行上述代码后，将得到如下输出：

plaintext

最佳超参数：{'max_depth': None, 'n_estimators': 10} 最佳得分：0.953