基于微粒群优化的特征选择与系综分类算法及应用研究

摘要

随着信息获取手段和处理能力的提高，信息量越来越大，信息维数也越来越高，给模式识别系统的设计带来“维数灾难”的问题，同时大量冗余或无关的特征也会影响识别的速度和准确率。对于支持向量机这样优秀的分类器也存在这样的问题，一些研究学者已经证明在使用支持向量机进行模式分类之前，有必要进行特征选择，以提高分类的准确率。 本文系统综述了支持向量机、微粒群优化算法、特征选择方法和系综方法的发展概况，以支持向量机分类器为背景，以封装模式的特征选择问题为主要研究对象，重点研究了特征选择的搜索算法，并在此基础上研究基于特征选择的分类器系综方法。本文主要的研究成果和创新点如下： 1.在微粒群优化算法中，针对实数微粒群优化易于陷入局部最优的缺点，提出带有全局变异算子的微粒群优化算法，仿真实验表明，改进的算法具有搜索成功率高，速度快的优点；针对离散微粒群优化算法搜索成功率低的缺点，在算法的转换函数中引入了调节参数和偏置参数，提高了算法的适应能力，仿真实验证明，改进算法的在解决局部极值复杂问题时搜索成功率大大提高；另外还通过仿真实验对比了微粒群优化、离散微粒群优化和遗传算法的搜索效率，给出了不同算法的搜索效率评价方法。 2.提出了以离散微粒群优化为搜索算法的特征选择方法，采用封装模式特征选择，以支持向量机的分类准确率为主要评价指标，利用离散微粒群优化进行特征子集选择，仿真实验表明，经过微粒群特征选择，提高了分类准确率。 3.提出了基于微粒群特征选择的系综方法，进一步提高了分类准确率，充分利用不同特征子集包含的互补信息和离散微粒群优化过程中粒子不易凝聚的特点，在特征选择过程中选择多个准确且多样的特征子集，训练出多个支持向量机，然后将它们的结果组合输出；在组合阶段提出了分类器加权/随机组合策略，有效地解决了多分类的投票问题，仿真实验证明了提出方法的有效性。 4.将上述方法用于键盘用户身份识别，进一步验证了本文提出的方法在实际问题的应用效果。针对键盘用户身份识别属于异常检测问题，将一分类支持向量机作为分类器，解决了在训练阶段只有正类数据可用的问题。实验结果表明本文提出的方法的有效性和可行性。

目录

文摘

英文文摘

第1章绪论

1.1课题背景

1.2基本原理

1.2.1模式识别

1.2.2支持向量机

1.2.3优化和搜索问题

1.3国内外研究综述

1.3.1支持向量机

1.3.2微粒群算法

1.3.3特征选择方法

1.3.4分类器系综

1.4本文主要研究内容

第2章微粒群算法及改进

2.1引言

2.2实数PSO算法及改进

2.2.1实数PSO算法

2.2.2带有变异算子的PSO算法

2.2.3仿真实验

2.3离散二进制PSO算法及改进

2.3.1离散二进制PSO算法

2.3.2 BPSO算法的改进

2.3.3仿真实验

2.4 GA和PSO的比较分析

2.4.1 GA简介

2.4.2 GA和PSO的比较分析

2.4.3仿真实验

2.5本章小结

第3章基于BPSO的特征选择算法

3.1引言

3.2特征子集选择方法

3.2.1特征选择的概念

3.2.2两种特征选择模式

3.2.3特征选择的基本框架

3.3基于PSO的特征子集选择算法

3.3.1基于GA-SVM的特征子集选择算法

3.3.2基于BPSO-SVM的特征子集选择算法

3.3.3仿真实验

3.4本章小结

第4章基于BPSO特征选择的系综方法

4.1引言

4.2系综方法

4.2.1系综的理论基础

4.2.2构造系综

4.3基于特征选择的系综方法

4.3.1基于随机特征的系综方法

4.3.2基于GA特征选择的系综方法

4.3.3基于BPSO特征选择的系综方法

4.3.4仿真实验

4.4本章小结

第5章键盘用户身份验证

5.1引言

5.2键盘用户身份验证简介

5.2.1键入特性

5.2.2研究现状

5.2.3存在的问题

5.3用于异常检测的支持向量机

5.4实验

5.4.1数据采集与处理

5.4.2实验步骤

5.4.3实验结果

5.5本章小结

结论

参考文献

攻读学位期间发表的学术论文

哈尔滨工业大学博士学位论文原创性声明及哈尔滨工业大学博士学位论文使用授权书

致谢

个人简历