FA-XGBoost数据分类预测：基于交叉验证的参数优化Matlab代码
基于萤火虫算法优化算法优化XGBoost(FA-XGBoost)的数据分类预测 FA-XGBoost数据分类 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码， 注：暂无Matlab版本要求 -- 推荐 2018B 版本及以上 注：采用 XGBoost 工具箱，仅支持 Windows 64位系统
最近在折腾分类算法优化的时候，发现萤火虫算法和XGBoost的组合有点意思。特别是当数据集存在噪声或者样本分布不均衡时，这个FA-XGBoost组合拳打出来的效果竟然比网格搜索调参还稳。今天咱们就手把手实现一个基于Matlab的版本，顺便聊聊怎么用交叉验证防止模型"走火入魔"。
基于萤火虫算法优化算法优化XGBoost(FA-XGBoost)的数据分类预测 FA-XGBoost数据分类 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码， 注：暂无Matlab版本要求 -- 推荐 2018B 版本及以上 注：采用 XGBoost 工具箱，仅支持 Windows 64位系统
先说说萤火虫算法的核心——参数编码部分。这里我们把XGBoost的三个命门参数打包成萤火虫的位置向量：
% 萤火虫位置编码 [迭代次数, 最大深度, 学习率] firefly.position = [... randi([50,200]), % n_estimators范围50-200 randi([3,10]), % max_depth范围3-10 rand()*0.3 + 0.1]; % learning_rate范围0.1-0.4这个范围设置是之前实验踩坑得出的经验值，学习率低于0.1容易收敛过慢，超过0.4又会导致震荡。接下来是亮度计算函数，这里直接拿交叉验证的准确率当评价指标：
function accuracy = fitness_func(position, X, y) params = struct('max_depth', position(2), 'learning_rate', position(3),... 'n_estimators', position(1), 'objective', 'binary:logistic'); % 5折交叉验证防过拟合 cv = cvpartition(y, 'KFold', 5); accuracies = zeros(cv.NumTestSets, 1); for i = 1:cv.NumTestSets trainIdx = cv.training(i); testIdx = cv.test(i); model = xgb_train(X(trainIdx,:), y(trainIdx), params); [~, accuracies(i)] = xgb_predict(model, X(testIdx,:), y(testIdx)); end accuracy = mean(accuracies); end这里有个细节需要注意，XGBoost的Matlab工具箱在数据格式转换上有点坑。如果输入的是table类型，记得先转换成double矩阵：
% 数据预处理防报错 if istable(X_train) X_train = table2array(X_train); end y_train = double(y_train);萤火虫的位置更新是算法的精髓所在。相比标准公式，我加了个参数范围的约束处理，防止搜索跑偏：
% 带约束的位置更新 new_pos = firefly.pos + beta * rand(1,3) .* (neighbor.pos - firefly.pos) + alpha * (rand(1,3)-0.5); % 参数边界约束 new_pos(1) = min(max(round(new_pos(1)), 50), 200); % 迭代次数取整 new_pos(2) = min(max(round(new_pos(2)), 3), 10); % 深度取整 new_pos(3) = min(max(new_pos(3), 0.1), 0.4); % 学习率裁剪实际跑起来会发现，最大深度这个参数最容易引发过拟合。有次实验忘加交叉验证，测试集准确率直接从95%暴跌到70%。后来在迭代过程中加入早停机制才算稳住：
% 早停机制 if iter > 10 && mean(acc_history(end-9:end)) < max_acc disp(['Early stopping at iteration ', num2str(iter)]); break; end最终得到的参数组合往往比默认参数提升3-5个点准确率。不过要注意Matlab的XGBoost工具箱对类别特征的处理方式，如果遇到"特征类型不匹配"的报错，试试强制转换：
% 处理分类特征 if ismember('Category', varTypes) X.(varNames{idx}) = grp2idx(X.(varNames{idx})); end这个方案的缺点是挺吃算力的，50只萤火虫跑20代差不多要半小时。建议在循环里加个进度条提升体验：
% 进度条 if ~exist('progress','var') progress = waitbar(0,'Fireflies are dancing...'); end waitbar(iter/params.max_iter, progress);最后说下环境问题，亲测在Win10+Matlab2021a下运行稳定，但Mac用户可能需要虚拟机或者双系统。另外数据量超过10万条时建议先做降采样，不然内存分分钟爆炸。