基于信息熵的高维数据流聚类及其应用研究

摘要

目前，虽然不少学者对高维数据流处理技术进行了诸多的研究工作，但仍然存在算法效率低、存储数据量大等问题。本文在对高维数据流的特点进行全面分析的基础上，对高维数据流的降维技术、聚类算法和趋势分析方法进行了深入的研究。
　　本研究主要内容包括：⑴研究了高维数据流的特点及其应用，重点分析了高维数据流的降维技术、经典的聚类算法及其优缺点。⑵提出了基于信息熵的特征投影降维算法—H-HpFitStream。针对高维数据流维数高和已有降维算法效率低等问题，利用信息熵函数保留价值信息，同时提高降维算法效率，达到降维的目的;除此之外，该算法保存了数据流的概要数据，降低数据的存储量，方便后续研究工作中对数据的提取和调用。⑶提出了改进后的数据流聚类算法—D-LFStream。针对LF聚类算法聚类效果较好但运行效率较低的缺点，采用滑动窗口处理技术，将密度算法思想引入其中，完善蚂蚁的移动规则，使蚂蚁在移动过程中更具有“方向性”，提高了算法的收敛速度。⑷提出了一种改进的数据流趋势分析算法。根据实际的应用需求，基于数据流变化的剧烈程度，选择使用总体最小二乘法或指数回归算法对其进行趋势分析，从而提高了数据流趋势分析的精度，使趋势分析的结果更接近于真实数据;同时结合置信区间理论对数据流中的变化点进行异常检测，为监测对象提供早期预警和重要的决策支持。⑸以桥梁健康监测为应用目标，将经过降维和聚类算法处理后的数据流应用到改进的趋势分析算法中。仿真实验结果表明，改进的算法成功实现了桥梁健康监测数据流的降维和聚类操作，能有效的进行趋势分析;同时，改进的算法不仅提高了高维数据流的处理效率，并解决了庞大数据流的存储问题。

目录

声明

摘要

第一章 绪论

1．1 课题的研究背景和意义

1．2 国内外研究现状

1．2．1 高维数据流降维技术研究现状

1．2．2 数据流聚类算法研究现状

1．2．3 数据流趋势分析方法研究现状

1．3 课题的研究内容和组织结构

1．4 本课题主要研究思路和创新点

1．5 本章小结

第二章 高维数据流分析的相关理论基础

2．1 高维数据流

2．1．1 高维数据流的特点

2．1．2 高维数据流的应用

2．2 高维数据流常用的降维技术

2．2．1 降维的定义

2．2．2 常用的降维技术

2．2．3 常用降维技术的优缺点

2．3 数据流聚类分析

2．3．1 聚类分析的基本概念

2．3．2 数据流聚类分析的相关技术

2．3．3 数据流聚类算法要求

2．4 经典的数据流聚类算法

2．4．1 经典的数据流聚类算法分析

2．4．2 经典的数据流聚类算法的优缺点

2．5 本章小结

第三章 高维数据流聚类算法改进

3．1 信息熵与特征投影相结合的降维算法—H-HpFitStream

3．1．1 信息熵

3．1．2 改进的高维数据流降维算法—H-HpFitStream

3．2 改进的数据流聚类算法—D-LFStream

3．2．1 蚁群聚类算法基本原理及分类

3．2．2 LF算法模型及其性能评价

3．2．3 D-LFStream算法模型的具体改进方案

3．2．4 D-LFStream算法模型的实现过程

3．3 本章小结

第四章 动态数据流的趋势分析算法改进

4．1 问题描述

4．2 经典的数据流趋势分析算法分析

4．3 改进的趋势分析算法

4．3．1 基于总体最小二乘法的动态数据流平稳变化指标的趋势分析

4．3．2 基于指数回归算法的动态数据流剧烈变化指标的趋势分析

4．3．3 基于置信区间的变化点检测

4．3．4 改进的趋势分析算法步骤及流程

4．4 本章小结

第五章 仿真实验及应用分析

5．1 应用背景

5．2 实验数据集及实验环境

5．2．1 实验数据集

5．2．2 实验环境

5．3 H-HpFitStream算法的仿真实验及分析

5．3．1 H-HpFitStream算法实验结果与分析

5．3．2 降维算法对比实验结果与分析

5．4 D-LFStream算法的仿真实验及分析

5．4．1 聚类实验结果与分析

5．4．2 聚类客观评价指标及对比分析

5．5 趋势分析应用实验及分析

5．5．1 趋势分析实验结果与分析

5．5．2 趋势分析客观评价指标及对比分析

5．6 本章小结

第六章 结论与展望

6．1 主要的研究成果总结

6．2 今后工作的展望

致谢

参考文献

攻读硕士学位期间的研究成果