改进的最小二乘支持向量机算法及应用.doc

改进的最小二乘支持向量机算法及应用 张吉斌 （兰州交通大学 自动化与电气工程学院，兰州 730070） 摘要：针对粒子群优化算法（PSO）的局部搜索能力差和存在早熟收敛的问题，将禁忌搜索（TS）思想融入到粒子群算法中，提出一种新的禁忌搜索的粒子群优化算法。该新算法结合了PSO和TS各自的优点，在寻优前期利用粒子群算法得到较好的初始值，同时将个体极值pbest放入禁忌表，在寻优后期，当粒子的搜索能力减弱时，利用禁忌搜索算法中禁忌表的短期记忆功能，使其跳出局部最优解,并且在搜索过程中允许接受劣解。将改进的算法应用于函数的优化，仿真结果表明，该算法计算精度和稳定性都有所提高，验证了改进算法的有效性。 关键词：粒子群算法；禁忌搜索；函数优化 中图分类号： 文献标识码：A 文章编号： An Improved Tabu Search-Particle Swarm Optimization Algorithm and Its Application ZHANG Ji-bin (School of Automation and Electrical Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China) Abstract: Considering the poor local search capability and the premature convergence of the Particle Swarm Optimization (PSO), combining Tabu Search(TS) ,a new PSO with TS is proposed .The new algorithm combines the PSO and TS respective advantages, in the early period use particle swarm optimization algorithm to get some good initial values, and at the same time, put individual optimal solution pbest into tabu list, in the later stage of search process, use tabu list’s short term memory function makes particles jump out of local optimal solution and allow accept bad solutions in the search process. With the application of function optimization, simulation results show that the improved algorithm has high precision and stability, and it proves that the improvement is efficient. Key words: Particle Swarm Optimization；tabu search；function optimization0 引言 近年来，许多优化算法被提出应用于解决最优化问题，其中启发式方法越来越受到关注。在启发式算法中,与其他智能算法相比,PSO的优点有：易于描述，容易实现，需要调整的参数少，不需要目标函数的梯度信息，只依靠函数值,PSO已被证明是解决全局优化问题的有效方法。但是PSO算法后期收敛速度减慢，容易陷入早熟收敛。并且由于单一算法在全局解的获得和计算时间上存在着矛盾，因此综合两种或多种算法优点的混合算法越来越受到关注。如李娟、杨琳等提出的自适应混沌粒子群算法[2]，郑小霞、钱锋提出的融合差分深化算法的粒子群优化算法[3]，李荣钧、常先英提出将鱼群算法中聚集行为的思想引入粒子群算法[4]。这些改进算法都在一定程度上解决了粒子群算法搜索后期陷入局部最优的现象，但在早熟收敛和收敛速度方面仍存在缺陷。 本文结合禁忌搜索中建立禁忌表的思想提出一种新的TS-PSO算法。其基本思想是在算法的前期采用粒子群优化算法进行搜索，充分利用其快速性和全局收敛性，当PSO算法搜索后期速度变慢时，利用TS算法禁忌表的短期记忆功能，使其跳出局部最优解，进而转向解空间的其他领域。 1 禁忌粒子群算法（TS-PSO） 1.1 PSO算法的基本原理 PSO[1]算法是由J. Kenney和R. Eberhart 1995年提出的一种