引言
本期介绍一种创新元启发式算法——投影迭代优化算法 Projection-Iterative-Methods-based Optimizer (PIMO) 。PIMO是一种受投影迭代法启发的新型元启发式算法。于2025年7月在线发表、9月正式发表在JCR 1区,中科院1区 SCI 期刊 Knowledge-Based Systems。
投影法在约束优化中应用广泛,主要用于保证每次更新时解满足约束条件。通过这样的操作,可以避免解在优化过程中违反约束,从而导致不现实的结果。特别是在复杂约束的非线性优化问题中,投影法显示出其独特的优势。在此背景下,从投影方法中汲取灵感,设计了基于投影迭代方法的优化器(PIMO)。
1. 初始化:和其他群优化算法一样,采用随机初始化。
2. 残差引导投影:在残差引导投影过程中,该算法通过在多维空间中连续投影来逼近最优解。将Kaczmarz行作用迭代更新策略与随机梯度下降(SGD)相结合,建立了一个协同混合框架,在高维解空间中提供系统的轨迹引导。在残差思想的基础上,在每次迭代中选择投影方程时,加入了随机梯度的思想。该决策过程具有概率性,增强了算法的探索性。随机选取残差适应度较小的最优解的两个粒子或样本作为引导因子。这样,解的更新不仅依赖于当前解的投影,而且加速了收敛,避免了基于梯度的局部极小值
在更新解决方案时,残差引导投影不仅使用所选代理和最佳解决方案之间的梯度信息,还可以通过雅可比矩阵进一步调整解
雅可比矩阵J是描述非线性优化问题中解对输入变化的敏感性的关键工具。通过对目标函数进行雅可比矩阵计算, 能够基于目标函数的局部线性化进行更精确的投影更新。
通过对目标函数进行雅可比矩阵计算,RGP能够基于目标函数的局部线性化进行更精确的投影更新。因此,位置更新是投影操作和梯度操作的结合
3.双随机投影:双随机投影过程通过引入双随机性,即算法首先随机选择两个索引,增强了算法的全局搜索能力
梯度投影更新:当随机决定使用梯度更新时,算法根据粒子当前位置的差值计算更新方向
雅可比矩阵投影更新:如果过程选择使用雅可比矩阵投影更新,DRP首先计算当前位置的雅可比矩阵, 此步骤为后续更新提供了更细粒度的方向信息。更新方向公式为
4. 加权随机投影更新:加权随机投影更新(Weighted Random Projection Update, WRPU)是一种通过随机加权和自适应调整来引导解空间中的粒子向最优解移动的优化过程。该方法结合了随机性和结构化投影,在勘探过程中保持了粒子全局和局部的平衡,从而提高了优化效率。
随机因子的生成:投影的起点。随机因子确定粒子位置更新过程中各分量的权重,为投影过程提供随机性和灵活性。投影的起始点表示为
投影路径的构建:多路径策略。粒子的位置更新基于两个不同的投影路径,每个路径代表一个投影策略。
路径1:随机加权投影。当前粒子位置X是基础,而目标的位置Xbest是指导性的,两者是随机加权平衡的。附加的扰动项增强了投影路径的灵活性,允许粒子跳出局部最优区域。
路径2:自适应校正投影。粒子根据一个维度因子在每个维度上选择一个投影路径,增加了位置更新的动态性
5. Levy飞行引导投影:LFGP算法通过模拟自然界生物的随机运动来实现高效的全局搜索和局部优化,对粒子的位置进行引导投影,并在每次迭代中动态调整粒子与最优解之间的关系。
触发机制:Levy投影概率
步骤生成:随机步骤
位置更新公式结合最优解
PIMO算法伪代码:
通过三组实验验证了PIMO的有效性:CEC2017基准函数、四个现实世界的约束问题和12个UCI数据集,在这些实验中,它优于五种优秀的特征选择算法。数值结果表明,PIMO在各种问题上持续优于其他算法,包括11个高度引用的新算法、7个最先进的算法、7个新颖的数学启发算法和5个领先的二进制算法。研究结果证实,PIMO是稳健的,用户友好的,持续有效。
参考文献
Dongmei Yu, Yanzhe Ji, Yiqiang Xia,Projection-Iterative-Methods-based Optimizer: A novel metaheuristic algorithm for continuous optimization problems and feature selection,Knowledge-Based Systems,Volume 326,2025,113978,
https://doi.org/10.1016/j.knosys.2025.113978..
Matlab代码下载
微信搜索并关注-优化算法侠(英文名:Swarm-Opti),或扫描下方二维码关注,以算法名字搜索历史文章即可下载。
完整代码
点击链接跳转:
390种优化算法免费下载-matlab
https://mp.weixin.qq.com/s/EzKqtSwR9r2DkGj-ozJXwA
求解cec测试函数-matlab
cec2022测试函使用教程及matlab代码免费下载
绘制cec2017/018/2019/2020/2021/2022函数的三维图像教程,SO EASY!