【24年新算法】牛顿拉夫逊优化算法NRBO-DBN回归+交叉验证 Matlab代码 (多输入单输出)
✅作者简介：热爱科研的Matlab仿真开发者，擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。
🍎 往期回顾关注个人主页：Matlab科研工作室
👇 关注我领取海量matlab电子书和数学建模资料
🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。
🔥 内容介绍
牛顿拉夫逊优化算法 NRBO-DBN 回归 + 交叉验证，是将牛顿 - 拉夫逊优化算法（NRBO）与深度置信网络（DBN）相结合，用于多输入单输出回归预测的方法，同时利用交叉验证来抑制过拟合。其背景原理如下：
牛顿 - 拉夫逊优化算法（NRBO）
- 基本原理
：NRBO 是一种基于种群的元启发式优化方法，用于解决连续优化问题。它受牛顿 - 拉夫逊法启发，通过结合经典牛顿 - 拉夫逊法和现代智能优化技术，具备高效全局搜索能力。
- 关键规则
：NRBO 利用 Newton-Raphson 搜索规则（NRSR）和陷阱避免算子（TAO）来提升探索能力和避免陷入局部最优解。NRSR 通过计算目标函数的一阶导数和二阶导数，快速逼近极值点，提高算法收敛速度。TAO 则在检测到候选解停滞不前时，引入随机扰动，帮助个体跳出局部最优区域，维持群体多样性。
深度置信网络（DBN）
- 网络结构与特点
：DBN 是一种深度学习模型，由多个受限玻尔兹曼机（RBM）堆叠而成。它具有强大的特征学习能力，能够自动从数据中提取高层抽象特征，适用于处理复杂的非线性数据。
- 在回归预测中的应用
：DBN 可用于多输入单输出的回归预测任务。通过学习输入数据与输出数据之间的映射关系，能够对未知输入数据进行输出预测。但 DBN 的性能受超参数影响较大，如隐藏层节点数目、反向迭代次数、反向学习率等。
NRBO 与 DBN 结合方式
将 NRBO 应用于 DBN，主要是利用 NRBO 的优化能力对 DBN 的超参数进行寻优。通过 NRBO 在超参数空间中搜索，找到使 DBN 回归预测性能最佳的超参数组合，从而提高 DBN 模型的预测准确性和泛化能力。
交叉验证原理
交叉验证是一种模型评估与选择技术，用于评估模型的泛化性能和防止过拟合。在 NRBO-DBN 回归模型中，通常采用 K 折交叉验证。具体做法是将数据集划分为 K 个互不相交的子集，每次使用其中 K-1 个子集作为训练集训练模型，剩余 1 个子集作为验证集测试模型性能，重复 K 次，使每个子集都有机会作为验证集，最后将 K 次验证结果平均，得到模型的评估指标，以此来更可靠地评估模型性能，并在模型训练过程中调整超参数，减少过拟合风险。
⛳️ 运行结果
📣 部分代码
% ---------------------------------------------------------------------------------------------------------------------- %
% Authors, Inventors, and Programmers: Dr. Sowmya R, Dr. M. Premkumar, and Dr. Pradeep Jangir
% E-Mail: mprem.me@gmail.com
% ---------------------------------------------------------------------------------------------------------------------- %
% ---------------------------------------------------------------------------------------------------------------------- %
% Please Refer the Following:
% Newton-Raphson-based optimizer: A new population-based metaheuristic algorithm for continuous optimization problems
% Engineering Applications of Artificial Intelligence,
% Volume 128, 2024,107532.
% ISSN 0952-1976
% https://doi.org/10.1016/j.engappai.2023.107532.
% https://www.sciencedirect.com/science/article/pii/S0952197623017165)
% Cite As: R. Sowmya, M. Premkumar, and P. Jangir, “Newton-Raphson-Based Optimizer: A New Population-Based Metaheuristic Algorithm for Continuous Optimization Problems,”
% Engineering Applications of Artificial Intelligence, Vol. 128, pp. 107532, February 2024.
% Website: https://premkumarmanoharan.wixsite.com/mysite/downloads
% ---------------------------------------------------------------------------------------------------------------------- %
function [Best_Score, Best_Pos, CG_curve] = NRBO(N, MaxIt, LB, UB, dim, fobj)
% Input arguments:
% N - Number of particles in the population
% MaxIt - Maximum number of iterations
% LB - Lower bound of the search space
% UB - Upper bound of the search space
% dim - Dimensionality of the search space
% fobj - Objective function to minimize/maximize
% Deciding Factor for Trap Avoidance Operator
DF = 0.6;
% Initialize the bounds for each dimension
LB = ones(1, dim) * LB;
UB = ones(1, dim) * UB;
% Initialization of the population
Position = initialization(N, dim, UB, LB);
Fitness = zeros(N, 1); % Vector to store individual costs
% Calculate the initial fitness for each particle
for i = 1:N
Fitness(i) = fobj(Position(i,:));
end
% Determine the best and worst fitness in the initial population
[~, Ind] = sort(Fitness);
Best_Score = Fitness(Ind(1));
Best_Pos = Position(Ind(1),:);
Worst_Cost = Fitness(Ind(end));
Worst_Pos = Position(Ind(end),:);
% Initialize convergence curve
CG_curve = zeros(1, MaxIt);
% Main optimization loop
for it = 1:MaxIt
% Dynamic parameter delta, decreases over iterations
delta = (1 - ((2 * it) / MaxIt)) .^ 5;
% Loop over all particles in the population
for i = 1:N
% Randomly select two different indices for differential evolution
P1 = randperm(N, 2);
a1 = P1(1); a2 = P1(2);
% Calculate the step size rho
rho = rand * (Best_Pos - Position(i,:)) + rand * (Position(a1,:) - Position(a2,:));
% Apply Newton-Raphson Search Rule
Flag = 1;
NRSR = SearchRule(Best_Pos, Worst_Pos, Position(i,:), rho, Flag);
X1 = Position(i,:) - NRSR + rho;
X2 = Best_Pos - NRSR + rho;
% Update position of particle
Xupdate = zeros(1, dim);
for j = 1:dim
X3 = Position(i,j) - delta * (X2(j) - X1(j));
a1 = rand; a2 = rand;
Xupdate(j) = a1 * (a1 * X1(j) + (1 - a2) * X2(j)) + (1 - a2) * X3;
end
% Trap Avoidance Operator to prevent local optima
if rand < DF
theta1 = -1 + 2 * rand(); theta2 = -0.5 + rand();
beta = rand < 0.5;
u1 = beta * 3 * rand + (1 - beta); u2 = beta * rand + (1 - beta);
if u1 < 0.5
X_TAO = Xupdate + theta1 * (u1 * Best_Pos - u2 * Position(i,:)) + theta2 * delta * (u1 * mean(Position) - u2 * Position(i,:));
else
X_TAO = Best_Pos + theta1 * (u1 * Best_Pos - u2 * Position(i,:)) + theta2 * delta * (u1 * mean(Position) - u2 * Position(i,:));
end
Xnew = X_TAO;
else
Xnew = Xupdate;
end
% Enforce boundary conditions
Xnew = min(max(Xnew, LB), UB);
% Evaluate new solution
Xnew_Cost = fobj(Xnew);
% Update the best and worst positions
if Xnew_Cost < Fitness(i)
Position(i,:) = Xnew;
Fitness(i) = Xnew_Cost;
% Update the global best solution
if Fitness(i) < Best_Score
Best_Pos = Position(i,:);
Best_Score = Fitness(i);
end
end
% Update the global worst solution
if Fitness(i) > Worst_Cost
Worst_Pos = Position(i,:);
Worst_Cost = Fitness(i);
end
end
% Update convergence curve
CG_curve(it) = Best_Score;
% Display iteration information
disp(['Iteration ' num2str(it) ': Best Fitness = ' num2str(CG_curve(it))]);
end
end
🔗 参考文献
🍅往期回顾扫扫下方二维码
- END -