混沌时间序列预测与储备池机器学习方法研究

摘要

本文以混沌时间序列的储备池预测方法为题进行研究，以期探索储备池的非线性处理机制，另觅新的机器学习方法，主要研究内容包括： 1、分析和建立混沌时间序列的储备池预测模型。对于一些确定性混沌序列，基于储备池的迭代预测方法性能卓越，但其结构设置缺乏合理解释，而且到目前为止，这种方法较好地应用于含噪声的混沌时间序列。针对这些问题，本文首先证明此类模型对非线性系统状态轨迹的逼近特性，并探讨初始状态设置的任意性。其次，本文将储备池模型分为三类：常规状态反馈结构、输出反馈结构和前馈(静态)结构，而著名的迭代预测方法则可由输出反馈结构加以分析。通过进一步对比这三类结构，本文提出了基于储备池的混沌序列直接预测方法，该方法利用预测原点和预测时域之间的关系直接构建预测器。相对于已有的迭代方法，本文所建直接预测器的稳定性可预先加以保障，遂避免由于网络附加回路闭合而产生的稳定性和误差积累问题。 2、提出储备池正则化学习方法。在现有的储备池学习方法中，存在较为严重的不适定性，表现为奇异值分布较连续、条件数较大，得到的输出权值幅值较大，从而为储备池的应用埋下了隐患。针对这个问题，本文提出储备池的正则化学习方法。该方法可通过奇异值截断或惩罚方法实现，其中，截断方法直接处理病态的系数矩阵，通过矩阵的奇异值截断，舍弃较小的奇异值以解决不适定问题；惩罚方法则采用岭回归形式，改善待因子化矩阵的性质，使其对称正定，因而可通过高效的Cholesky或高斯消元法进行求解。此外，本文还探讨了正则化方法应用于含噪声混沌序列预测的理论问题。假设时间序列所含的噪声有界，从变量含误差(Errors-in-variables)模型的角度，可得到由噪声所引起的最坏预测误差。通过最小化该误差，便得到含噪混沌序列的鲁棒最优预测模型，该模型具有惩罚正则化的形式。 3、基于储备池方法，提出无核非线性支持向量机模型。传统的核方法实现了一种静态映射，但较难实现递归结构，因此无法直接处理动态模式。储备池具有“递归核”的功能，并可较好地应用于动态系统辨识。基于此，本文结合储备池的特点和传统支持向量机的处理方法，提出一种不依赖核的非线性支持向量机一支持向量回声状态机(SupportVectorEcho-StateMachines，SVESMs)。SVESMs的主要特点是不依赖核方法构建隐式的特征空间，它采用随机生成的储备池来处理非线性系统建模问题，在高维的储备池状态空间中进行计算。这种方法便于实现结构风险最小化(StructuralRiskMinimization)，并可根据问题的不同引入不同的代价函数，当采用鲁棒损失函数时，SVESMs可处理包含异常点的预测问题。SVESMs可工作在递归模式和前馈模式。相对于传统递归神经网络，工作在递归模式的SVESMs易于训练，不存在局部最小点问题，且预测器精度高、泛化能力强；此外，工作在前馈模式的SVESMs可应用于静态模式识别问题，它具有与传统支持向量机类似的超参数和容量控制方法，但形式上与传统的前馈网络相同，从而建立起神经网络和支持向量机之间的内在联系。

目录

文摘

英文文摘

声明

1绪论

1.1问题背景和历史沿革

1.2与储备池方法相关的神经网络方法概述

1.3论文的内容概括和结构安排

2非线性系统的储备池状态空间重建

2.1引言

2.2状态空间递归神经网络

2.3储备池状态空间神经网络的模型结构

2.4基于储备池方法的非线性系统建模

2.5仿真例子

2.6小结

3基于正则化储备池方法的非线性系统信号处理

3.1引言

3.2储备池网络中的不适定问题

3.3基于惩罚方法实现的储备池正则化

3.4含噪声混沌序列预测模型与正则化方法

3.5正则化储备池方法应用于静态函数逼近

3.6正则化储备池方法应用于动态系统辨识

3.7小结

4一种不依赖核方法的非线性支持向量机

4.1引言

4.2核方法在递归支持向量机中存在的问题

4.3无核非线性支持向量机

4.4无核机的求解和计算问题

4.5无核机与传统支持向量机的关系

4.6基于无核机的非线性系统仿真例子

4.7小结

5结论与展望

5.1结论

5.2展望

参考文献

附录 主要符号说明

创新点摘要

在学期间发表的学术论文

在学期间参加的基金项目

致谢