模式识别中的特征选择与评价方法研究

摘要

模式识别是许多学科的基础，是人工智能和信息科学的重要组成部分特征选择的主要方法是利用一定的数学工具来降低模式维数，以期寻找最有效、较低维数的特征构成模式向量，以应用于模式识别，特征选择的效果在一定程度上取决于分类器的性能及设计方式。衡量特征提取和选择的标准有很多，但大部分归根结底是取决于所采用的分类算法和效果。本文对目前已有的特征选择算法进行了总结，依据特征子集形成方式，特征选择算法可以分为穷举式，启发式和随机法三种，依据评价函数，特征选择方法分成筛选器和封装器两种。
　　本文将支持向量机算法应用于特征选择的评价，得出了评价特征选择效果的指标，主要包括特征相关性，误分率，特征向量的维数和本文定义的正向类间边界距离与负向类间边界距离，根据这些指标提出了评价特征选择方法的准则，主要包括最小维数评价准则、最大正向类间边界距离评价准则、最小负向类间边界距离评价准则、最小特征相关性评价准则和最小误分率评价准则，并用实例说明了评价结果的正确性，提高了特征选择的效果，从而最终提高模式识别的识别率。本文所得出的评价指标在一定程度上可以表示特征选择结果的好坏，对特征选择的结果做出一个较为合理的评价，所以这些指标可以用于特征选择过程，本文将特征选择方法的评价指标可以与基于遗传算法的特征选择很好的结合，也就是将适应度函数与这些评价指标相结合，使其值越大表示得到的特征组合对问题的表征效果越好。并通过手写体数字识别的实例说明了方法的可行性，取得了很好的结果。

目录

声明

摘要

1 前言

1．1 研究的背景

1．2 研究的目的及意义

1．3 国内外相关理论的发展现状

1．4 本文的主要结构

2 模式识别中的特征选择

2．1 类别可分性判据

2．1．1 基于类内类间距离的可分性判据

2．1．2 基于概率分布的可分性判据

2．1．3 基于熵的可分性判据

2．1．4 基于分类误差的可分性判据

2．1．5 类别可分性判据的应用

2．2 特征选择

2．2．1 特征选择的方法综述

2．2．2 几种典型的特征选择算法

2．3 总结

3 模式识别中的特征选择的评价

3．1 统计学习理论与支持向量机(SVM)算法简介

3．1．1 VC维

3．1．2 经验风险最小化与结构风险最小化原理

3．1．3 最优分类面

3．1．4 广义最优分类面

3．1．5 支持向量机(SVM)算法简介

3．2 特征选择的主要评价因素分析

3．2．1 特征之间的相关性

3．2．2 维数

3．2．3 误分率

3．2．4 类间边界距离

3．3 特征选择的评价准则

3．4 基于支持向量机特征选择评价应用于特征选择

3．5 特征选择评价简单应用举例

3．6 总结

4 特征选择评价应用于特征选择过程

4．1 基于特征选择评价进行特征选择的可行性

4．2 基于特征评价指标的遗传算法特征选择改进算法

4．2．1 遗传算法的产生与发展

4．2．2 遗传算法的基本思想

4．2．3 遗传算法的特点

4．2．4 遗传算法的基本操作

4．2．5 遗传算法的主要结构

4．2．6 编码设计

4．2．7 基于特征评价指标的遗传算法的适应度函数设计

4．2．8 改进方法的基本步骤

4．3 总结

5 算法的matlab实现及其应用实例

5．1 遗传算法的Matlab仿真

5．2 编码与初始化

5．3 交叉

5．4 变异

5．5 解码过程

5．6 适应度函数设计

5．7 选择

5．8 应用实例

5．8．1 适应度函数权重参数的确定

5．8．2 实例运行的结果

5．9 总结

6 总结和展望

6．1 总结

6．2 展望

参考文献

8 攻读硕士学位期间发表论文情况

致谢

附录