成对约束下半监督特征选择算法研究

摘要

特征选择是机器学习领域的研究的重要内容之一。随着应用于机器学习领域的数据维数不断升高,数据存储、运算,都消耗了大量的计算机资源。为了节省资源,避免所谓“维数灾难”的出现,变量和特征的降维技术在许多研究课题和实际应用中(如:网络文档的文本处理,基因表达序列分析,组合化数据等等),都有着非常重要的意义。
　　 半监督特征选择算法是针对于含有少量监督信息和大量无标记数据的样本集的特征选择算法。现有多数半监督特征选择方法是基于类标记这种监督信息形式的,而在实际应用中,成对约束分类信息作为一种先验知识的形式往往比较容易获得,成对约束下的半监督特征选择算法并不多见。本文主要针对成对约束下的半监督特征选择算法进行了相关的研究,主要研究工作如下:
　　 (1)提出了一种成对约束下基于假设间隔的半监督特征选择算法Csimba。该算法利用成对约束条求解使假设间隔最大的特征,以此进行特征排序。在UCI数据集的实验表明提出的算法是有效的。
　　 (2)提出了一种成对约束下基于特征相关性的半监督特征选择算法ICSMI。算法利用互信息和信息熵估计特征间的相关性,可以降低特征子集的冗余度,增强了特征的有效性。在UCI数据集的实验表明提出的算法是有效的。
　　 (3)提出了一种成对约束扩展方法RCE。该方法利用Relevant-Set Correlation聚类模型对于成对约束包含的样本点进行聚类,从而扩展成对约束集。利用扩展后的成对约束集并运用ICSMI进行特征选择,从而使ICSMI算法在初始成对约束数量比较少的情况下也能获得比较好的效果。在UCI数据集的实验表明提出的算法是有效的。

目录

文摘

英文文摘

第1章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.3 研究内容和创新点

1.4 论文组织结构

第2章 几种常见的特征选择算法介绍

2.1 特征选择简介

2.2 经典过滤式特征选择算法

2.2.1 无监督过滤式特征算法

2.2.2 监督过滤式特征算法

2.2.3 成对约束下的半监督特征选择算法

2.3 本章小结

第3章 成对约束下基于假设间隔的半监督特征选择算法(Csimba)

3.1 Csimba算法思想

3.2 Csimab算法描述

3.3 实验与结果分析

3.4 本章小结

第4章 成对约束下基于互信息的半监督特征选择算法(ICSMI)

4.1 相关概念

4.2 ICSMI算法思想

4.3 ICSMI算法描述

4.4 实验与结果分析

4.5 本章小结

第5章 基于RSC聚类模型的约束扩展方法(RCE)

5.1 RCE算法的主要思想

5.2 RCE算法步骤

5.3 RCE算法描述

5.4 实验与结果分析

5.5 本章小结

第6章 结束语

6.1 总结

6.2 展望

参考文献

致谢

附录