粒子群算法的改进及其在回归模型参数估计中的应用

摘要

粒子群算法是一种应用很广泛的智能演化算法，算法通过粒子追随自己找到的最好解和整个群体的最好解来完成优化，其主要的优点是概念简单、容易实现、可调整参数少并且能在较短的时间内产生高质量解，粒子群算法已成为当前优化技术应用领域研究的一个热门课题。作为一种新型的模拟进化算法，粒子群算法中的许多问题有待作深入研究，如算法的收敛速度、收敛时间、早熟问题、理论依据等。惯性权重是粒子群算法中最重要的可调整参数，其作用是有效控制算法的收敛和探索能力。惯性权重的大小决定了粒子对当前速度继承的多少，较大的权值将使粒子具有较大的速度，从而有利于提高算法的全局搜索能力；而较小的权值会增强对算法局部搜索能力的提高，从而有利于算法收敛性的控制。惯性权重的合理选取很大程度上决定了算法的执行效果，所以展开对惯性权重的研究是很有必要的。粒子群优化算法作为一种有效的全局搜索方法，在诸如神经网络的训练、机器人路径规划、信号处理和模式识别、组合优化、多目标优化、自动目标检测、生物信号识别、决策调度、系统辨识等问题上均取得了不错的应用效果。近年来，将粒子群优化算法应用于参数估计正逐渐成为热门。回归分析中的参数估计是指在实际问题中随机变量分布函数的形式已知，但其中参数未知的情况。如果得到了随机变量的一组样本值后，希望利用样本值来估计变量分布中的参数值，这在工程中是一个比较重要的问题。在回归分析中，最大似然估计法是模型参数估计的基本方法。但在用该方法进行参数估计时，一般要求解联立的超越方程组，相当复杂，用常规迭代算法不易求解，而且收敛性较差，甚至有时不能收敛。
　　 本文在分析粒子群优化算法基本原理的基础上，针对标准粒子群算法易陷入局部解的不足，提出在基本粒子群算法的基础上着重对权重因子进行改进，在非线性递减惯性权重策略基础上增加随机因素的考虑，给出了改进的算法一非线性递减随机惯性权重粒子群算法 NLDRWPSO，进而对该算法应用于多元线性回归模型及非线性回归中的Logistic、Probit等模型的参数估计，并通过仿真实验验证了NLDRWPSO算法的有效性和优越性。本研究主要内容包括：①介绍了粒子群算法的基本理论和目前常用的几种改进方法，在此基础上分析了基本粒子群算法容易早熟的问题，通过对粒子群算法中最重要的可调整参数--惯性权重的设置研究，提出了自己的改进思想，进而提出了旨在增强其抵抗陷入局部最优的改进粒子群算法NLDRWPSO。利用常用标准测试函数进行测试，结果表明：改进的粒子群算法的性能优于基本粒子群算法。②将改进粒子群算法(NLDRWPSO)应用于回归模型的参数估计计算，具体选择多元线性回归模型、Logistic回归模型、Probit回归模型进行参数估计，并以实际应用事例为背景，结合与其他智能优化方法及传统数学方法作对比，对改进后的算法的性能指标作出评估。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 粒子群算法产生的背景

1.2 粒子群算法的研究现状

1.3 粒子群算法的应用

1.4 本文主要研究工作

1.5 论文的组织

第二章 粒子群优化算法

2.1 优化问题

2.2 粒子群算法

2.3 本章小结

第三章 惯性权重非线性递减随机策略的粒子群算法

3.1 惯性权值的调整策略分析

3.2 非线性递减随机惯性权重策略

3.3 本章小结

第四章 多元回归分析

4.1 多元线性回归模型

4.2 Logistic非线性回归模型

4.3 Probit非线性回归模型

4.3 本章小结

第五章 改进的PSO算法在参数估计中的应用

5.1 研究的背景

5.2 回归模型参数估计的非线性随机惯性权重粒子群优化算法实现

5.3 本章小结

第六章 总结与展望

6.1 本文完成的工作

6.2 今后的展望

附录A

参考文献

致谢

附录 攻读学位期间发表的学术论文目录