基于特征分析和数据降维的复杂数据预测与分类方法研究

摘要

数据预测与分类是数据挖掘领域非常重要的研究课题，长期以来受到了广泛的关注。数据预测与分类理论是管理科学、经济、数学、计算机等不同学科相互交叉融合的结晶，并已经被广泛应用于能源价格市场分析、金融市场价格预测和风险控制、生物信息识别、商务智能客户行为分析等众多领域。近年来，随着信息技术、互联网技术的迅猛发展，云计算、大数据分析的逐步成熟，复杂数据预测与分类研究充满了机遇与挑战，一方面，随着上述新兴技术、产业的发展与推广，大量实时在线数据的快速收集得以实现，以数据预测与分类为代表的数据挖掘技术将在更多的领域中发挥更大的作用。另一方面，从数据维度、数据类型以及数据体量等不同层面来看，数据对象正变的越来越多样化、复杂化，这极大的增加了精准化和精细化挖掘的难度，同时也从知识获取的准确性、合理性、可靠性以及实用性等多个方面对数据预测与分类研究提出了更高要求。
　　本文在对国内外数据预测与分类有关基础理论、实现方法和建模策略进行梳理和总结的基础上，重点从数据的维度复杂性、频域特征复杂性、多源信息识别与匹配三个方面出发，紧密围绕数据预测与分类的关键问题，以电力系统负荷数据、电力市场价格数据为主要研究对象和案例，对复杂数据预测与分类问题展开研究。本文的主要研究内容及创新点总结如下:
　　(1)提出了一种基于相似性测度的半参数回归概率密度预测框架，系统性分析了传统数据预测方法的适用范围及存在的问题。在此基础上，针对研究对象的多源相关性特征，构建了基于非参数修匀的半参数回归模型，同时结合Bootstrap概率区间估计进行分析。其次，针对所选择的多影响因素指标与研究对象之间作用机制难以确定的问题，结合相似性测度、因子分析以及因果关系检验等方法，给出了一种规范化的指标变量提取与识别策略。通过实验验证所提出预测框架的有效性，进而为深入研究不同指标变量与对象数据之间的复杂建模机制提供了借鉴。
　　(2)提出了一种基于数据降维的分段可加半参数回归概率密度预测框架，针对数据的周期性、多维多粒度波动特性，受到可加建模思想的启发，提出了基于分段可加的半参数回归模型，并结合Bootstrap概率区间估计进行分析。为保证样本外预测的可行性和合理性，基于Bootstrap重采样技术对气象数据的未来趋势进行了有效模拟。该数据预测框架引入了可加建模思想对数据作降维度处理，并结合指标变量筛选与匹配方法从而完成概率分布建模，给出了一种可行的大跨度外延预测方法，同时提高了数据预测在电力需求分析中的实用性和鲁棒性。
　　(3)提出了一种基于特征提取的半参数回归概率密度预测框架，针对数据的周期性、多频域特征混叠特性，基于EEMD频域分解方法对原始序列进行多尺度分析，结合频域特征选择与识别方法确定原始序列的特征信号和随机信号，并对不同频域信号进行重构。结合正交最小二乘估计、Bootstrap概率区间估计，构建了非参数修匀策略的半参数回归模型。基于所提出的模型对不同特征成分和趋势成分分别建模并集成预测。该数据预测框架引入了频域分析方法对数据作降维度处理，通过合理的筛选特征信号和趋势信号并进行概率分布建模，为有效分析具有复杂趋势融合特征的非平稳时间序列数据提供了一种新思路。
　　(4)提出了一种基于特征选择和支持向量机的高维数据分类框架，针对连续型数值预测方法用于非平稳、极端波动趋势分析时容易失效的问题，基于数据分类的思想将传统的数据类别看作是描述对象数据变化的“概率空间”，并增加对象数据的所属类别及类别范围从而将区间预测转化为模式分类问题。通过融合Filter和Wrapper两种不同特征选择思路对SVM进行改进，给出了基于多分类的SVM-RFE-MRMR分类方法，并结合PCA-DP时间序列分割等方法，从模式判别的角度给出了一种复杂数据预测新框架，进而为高维数据波动规律分析、非平稳高频波动数据预测等问题的研究提供了新思路。

目录

声明

致谢

摘要

第一章 绪论

1．1 研究背景与意义

1．1．1 研究的背景

1．1．2 研究的意义

1．2 研究现状与问题分析

1．3 研究内容与结构安排

1．3．1 主要研究内容

1．3．2 论文结构安排

第二章 复杂数据趋势提取与特征分析理论概述

2．1 数据预测与分类的基础

2．1．1 数据预处理技术

2．1．2 数据分布特征的辨识方法

2．2 基于复杂数据波动性分析的趋势提取与降维度处理方法

2．2．1 基于成分模型分解的连续型数据趋势提取方法

2．2．2 基于频域分析的连续型数据趋势提取方法

2．3 基于模式识别的复杂数据特征分析方法

2．3．1 数据采样技术

2．3．2 随机模拟方法

2．3．3 维归约方法

2．3．4 数据特征选择方法

2．4 本章小结

第三章 基于相似性测度的半参数回归概率密度预测

3．1 引言

3．2 问题描述

3．3 Bootstrap区间估计理论

3．3．1 Bootstrap参数估计

3．3．2 Bootstrap区间估计

3．4 基于非参数修匀的半参数回归方法

3．4．1 线性半参数回归模型

3．4．2 基于时间序列平滑的半参数回归模型

3．4．3 模型的估计方法

3．5 基于Bootstrap估计的概率密度预测方法

3．6 基于相似性测度的变量选择与识别策略

3．6．1 相似性测度的概念

3．6．2 变量选择与识别策略

3．7 数值实验

3．7．1 数据的描述

3．7．2 变量选择与因子提取

3．7．3 实验结果与分析

3．8 本章小结

第四章 基于数据降维的分段可加半参数回归概率密度预测

4．1 引言

4．2 基于分段可加的半参数预测方法

4．2．1 半参数回归模型的拓展

4．2．2 基于分段光滑的半参数可加回归模型

4．2．3 模型的估计方法

4．3 基于Bootstrap估计的概率预测方法

4．4 基于Bootstrap采样的数据模拟

4．5 数值实验

4．5．1 数据的描述

4．5．2 变量选择与因子提取

4．5．3 气象和经济数据模拟

4．5．4 实验结果与分析

4．6 本章小结

第五章 基于频域特征提取的半参数回归概率密度预测

5．1 引言

5．2 基于非参数修匀的半参数回归模型

5．2．1 半参数回归模型的拓展

5．2．2 模型的估计方法

5．3 基于EEMD的复杂数据趋势提取方法

5．3．1 EEMD的基本原理

5．3．2 复杂数据波动趋势提取与辨识方法

5．4 基于趋势提取的半参数概率密度预测方法

5．5 数值实验

5．5．1 数据的描述

5．5．2 特征分量提取、识别与重构

5．5．3 变量选择与因子提取

5．5．4 实验结果与分析

5．6 本章小结

第六章 基于特征选择与支持向量机的高维数据分类方法

6．1 引言

6．2 问题描述

6．3 基于SVM-RFE-MRMR的高维数据分类方法

6．3．1 SVM的基本原理

6．3．2 基于SVM-RFE的数据分类

6．3．3 基于最大相关最小冗余的多元SW-RFE分类

6．3．4 分类准确性评价

6．3．5 数值实验

6．4 基于SVM-RFE-MRMR的电力市场价格预测

6．4．1 基于数据分类的电力市场价格预测原理

6．4．2 基于PCA-DP时间序列分割的数据波动模式划分

6．4．3 基于序列分割的SVM-RFE-MRMR的复杂数据预测框架

6．4．4 数值实验

6．5 本章小结

第七章 总结与展望

7．1 总结

7．2 展望

参考文献

攻读博士学位期间的学术活动及成果情况