基于稀疏回归的无监督特征选择

摘要

随着互联网及物联网技术的快速发展，在科学研究以及日常生活等方面产生的数据都是成千上万甚至更多维的高维数据。其中，高维特征的数据中含有重要的特征、冗余的特征、不重要的特征甚至是噪声特征。数据分析的目的是从大量数据中获取有意义的数据，从而完成相应的聚类或分类等任务。然而，数据的爆发式增长给传统的数据分析方法带来了时间和空间上的更高要求。因此，需要采用降维方法对高维数据进行预处理，得到低维空间下的纯净数据。近年来，许多基于稀疏回归的特征选择算法被提出。然而，这些特征选择算法仍然存在一些局限性，比如对嵌入维度敏感，稀疏性不足，对数据信息利用不足等。因此，本文针对这些方面进行了一些改进，以克服现有算法模型的不足。本文的贡献主要包括如下几点： （1）提出一种基于非负矩阵分解和正则化稀疏回归的无监督特征选择算法（JMFSR）。JMFSR算法旨在找到更合适的伪类标索引矩阵。首先，该算法采用带有正交约束的非负矩阵分解学习基于部分的数据表示。然后，通过正则化稀疏回归模型学习一个特征权重矩阵。另外，该算法引入了l2,1范数同时对稀疏回归项和特征权重矩阵施加约束，从而能够有效的选择具有代表性的特征子集。 （2）提出一种基于自表示稀疏回归和局部相似性保护的无监督特征选择算法（UFSRL）。UFSRL算法旨在克服一般特征选择算法对嵌入维度敏感和稀疏性不足的问题。首先，该算法是对原始数据本身进行稀疏重构，而不是拟合低维嵌入。其次，该算法采用了流形学习方法保护数据的局部相似性。另外，该算法采用了l2,1/2矩阵范数对系数矩阵进行约束以保证系数矩阵的行稀疏性，使得UFSRL模型稀疏性和对噪声的鲁棒性更好。 （3）提出一种基于自表示和非负矩阵分解的混合图正则化特征选择算法（SRMFMR）。SRMFMR算法旨在解决一般特征选择算法对数据信息利用不足的问题。首先，该算法在自表示回归模型基础上对自表示矩阵进行非负性分解，得到一个新的特征选择矩阵和一个系数矩阵。其次，SRMFMR采用一种混合图模型，即分别在样本空间构建全局图，在特征空间构建局部图，这样能够使模型有效保护数据空间的全局信息和特征空间的近邻相似信息。

目录

第一个书签之前

摘要

ABSTRACT

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.1 降维的背景及意义

1.2 特征选择算法的简介及发展现状

1.2.1 特征提取简介

1.2.2 特征选择简介

1.3 本文内容及结构安排

第二章 基于非负矩阵分解和正则化稀疏回归的无监督特征选择

2.1 引言

2.2 相关工作

2.2.1 特征选择问题的描述

2.2.2 NMF的基本概念

2.3 基于非负矩阵分解和正则化稀疏回归的无监督特征选择

2.3.1 JMFSR算法目标函数

2.3.2 与RSR之间的关联

2.3.3 与MFFS之间的关联

2.3.4 优化方法

2.3.5 收敛性分析

2.4 实验结果及其分析

2.4.1 数据集介绍

2.4.2 对比算法

2.4.3 评估准则

2.4.4 实验设置

2.4.5 有效性实验

2.4.6 对比实验

2.4.7 参数敏感性分析

2.5 本章小结

第三章 基于自表示稀疏回归和局部相似性保护的无监督特征选择

3.1 引言

3.2 基于自表示稀疏回归和局部相似性保护的无监督特征选择

3.2.1 L2,p矩阵范数

3.2.2 UFSRL算法目标函数

3.2.3 与其他方法的比较

3.2.4 优化方法

3.2.5 UFSRL算法流程

3.2.6 收敛性分析

3.3 实验结果及其分析

3.3.1 数据集介绍

3.3.2 对比算法

3.3.3 评估准则

3.3.4 实验设置

3.3.5 有效性实验

3.3.6 对比实验

3.3.7 时间复杂度分析

3.3.8 参数敏感性分析

3.4 本章总结

第四章 基于自表示和非负矩阵分解的混合图正则化特征选择

4.1 引言

4.2 基于自表示和非负矩阵分解的混合图正则化特征选择算法

4.2.1 图拉普拉斯矩阵

4.2.2 SRMFMR算法目标函数

4.2.3 优化方法

4.2.4 收敛性分析

4.2.5 SRMFMR算法分析

4.3 实验结果与分析

4.3.1 数据集介绍

4.3.2 实验设置

4.3.3 对比算法

4.3.4 有效性实验

4.3.5 对比实验

4.3.6 本文三种算法对比

4.3.7 参数敏感性分析

4.3.8 收敛性实验

4.4 本章总结

第五章 总结与展望

5.1 本文总结

5.2 工作展望

参考文献

致谢

作者简介