非光滑复合优化加速邻近梯度算法【附代码】
✅博主简介：擅长数据搜集与处理、建模仿真、程序设计、仿真代码、论文写作与指导，毕业论文、期刊论文经验交流。
✅成品或者定制，扫描文章底部微信二维码。
(1) 自适应非单调步长策略与惯性加速机制设计
邻近梯度算法在求解非光滑复合优化问题时，步长的选取对算法的收敛速度和求解精度具有决定性影响。传统的固定步长策略需要预先估计目标函数光滑部分的梯度Lipschitz常数，当该常数估计过大时会导致步长过小，算法收敛缓慢；当估计过小时则可能破坏算法的收敛性。线搜索策略虽然能够自适应确定步长，但每次迭代需要多次计算函数值和梯度值，产生大量额外的计算开销，对于大规模优化问题尤为不利。针对这些问题，本研究提出了一类自适应非单调步长策略，该策略允许步长在迭代过程中非单调变化，但保证步长序列在有限步之后呈现单调递增的趋势并最终收敛到某个正值。
自适应非单调步长策略的核心思想是根据相邻两次迭代的梯度信息动态调整步长大小，而不是依赖于全局的Lipschitz常数估计。具体而言，当检测到当前迭代点处的局部曲率较小时，说明目标函数在该区域较为平坦，可以采用较大的步长加快收敛；当检测到局部曲率较大时，说明目标函数变化剧烈，需要采用较小的步长以保证稳定性。为了避免步长的剧烈波动影响算法的数值稳定性，设计了步长变化的上下界约束，确保步长始终在合理范围内调整。在此基础上，将自适应非单调步长策略与惯性加速机制相结合，提出了带有自适应步长的快速迭代收缩阈值算法变体。惯性加速机制通过在当前迭代点的基础上添加一个与前两次迭代位移成正比的外推项，使算法能够利用历史迭代信息加速收敛。外推系数的选取遵循特定的参数序列规则，保证算法在凸优化问题上达到最优的收敛速率。
理论分析表明，带有自适应非单调步长的快速迭代收缩阈值算法在一般凸复合优化问题上具有次线性收敛率，目标函数值序列以迭代次数平方的倒数速度趋近于最优值。当目标函数满足误差界条件时，进一步设计了基于函数值下降条件的重启策略，使算法能够从次线性收敛加速为线性收敛。重启策略的基本思想是当检测到目标函数值的下降速度明显变慢时，将惯性参数重置为初始值，重新开始加速过程。这种周期性的重启能够避免惯性项在最优解附近产生的振荡现象，显著提高算法的实际收敛速度。数值实验在多个标准测试问题上验证了所提策略的有效性，包括稀疏信号恢复、低秩矩阵补全和图像去噪等典型应用，结果表明自适应非单调步长策略相比固定步长和线搜索策略具有明显的性能优势。
(2) 广义参数选取规则与收敛性分析框架
惯性邻近梯度算法的收敛性能与惯性参数的选取规则密切相关，经典的Nesterov参数准则给出了保证算法达到最优收敛率的一种参数选取方式，但这一准则对参数的约束较为严格，限制了算法设计的灵活性。为了突破这一限制，本研究提出了一类更为广义的参数选取规则，将满足收敛性要求的参数空间从单一的Nesterov序列扩展到一个更大的参数族，使得算法设计者能够根据具体问题的特点选择更合适的参数配置。
广义参数选取规则的建立依赖于一种新的理论分析方法，该方法被称为比较法。比较法的基本思想是构造一个辅助的能量函数或势函数，然后通过分析该函数在相邻迭代步之间的变化关系来推导算法的收敛性质。与传统的直接分析目标函数值下降的方法相比，比较法能够更精细地刻画惯性项对收敛过程的影响，从而得到更紧的收敛率估计。在比较法的框架下，建立了惯性邻近梯度算法的抽象收敛性定理，该定理给出了保证算法收敛的参数条件的一般形式，涵盖了现有文献中各种具体参数选取规则作为特例。
基于抽象收敛性定理，系统分析了六类常见惯性邻近梯度算法的收敛性质，包括点列的收敛性、点列的收敛率以及函数值序列的收敛率。分析结果表明，经典快速迭代收缩阈值算法生成的迭代点列不仅收敛到最优解，而且具有强收敛性，即点列之间的距离以特定速率趋近于零。在函数值收敛方面，证明了点列的收敛率可以达到迭代次数负三次方的阶数，函数值序列的收敛率可以达到迭代次数负六次方的阶数，这一结果显著优于此前文献中的分析。对于其他几类惯性邻近梯度算法，证明了在适当的参数选取下，可以实现任意阶的次线性收敛率，这为针对特定问题设计高效算法提供了理论指导。此外，结合自适应重启条件，提出了一类自适应修正惯性邻近梯度算法，该算法能够根据迭代过程中的信息自动判断是否需要重启，避免了固定周期重启可能带来的效率损失。
(3) 非凸复合优化问题的变步长加速算法设计
非光滑非凸复合优化问题相比凸问题具有更加复杂的优化景观，存在多个局部极小点和鞍点，算法容易陷入次优解。标准的邻近梯度算法在非凸问题上只能保证收敛到稳定点，收敛速度通常较慢，难以满足实际应用的需求。为了提升算法在非凸问题上的求解效率，本研究将凸问题上有效的加速策略推广到非凸场景，设计了两类数值性能更优的加速邻近梯度算法。
如有问题，可以直接沟通
👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇