最小二乘支持向量回归及其在水质预测中的应用研究

摘要

在水环境治理及规划研究中，河流水质预测问题是一个被广泛研究的重要问题。由于水流动的多样性及不确定性点源污染原因，导致河网水系流态十分复杂。再加上水环境系统的结构参数和边界条件具有时变性和复杂性，而我们通常所获取的水环境系统信息是不完备，使得水质预测成为一个难题。统计学习方法可以根据现有的实测资料，建立影响河流水质因子和水质之间一种映射关系，从而达到预测河流水质的目的。
　　 支持向量机作为统计学习理论的新一代机器学习方法，能较好地解决小样本、非线性、高维数和局部极小点等实际问题，已成功应用于分类、回归和时间序列预测等领域。Suykens在支持向量机基础上提出的最小二乘支持向量机，不但在多个问题上表现出较高的建模精度和良好的泛化能力，还有效降低了算法的计算复杂度。然而，对最小二乘支持向量机算法及其在水质预测的应用，尚存在一些研究不足的方面。例如:回归预测模型输入的合理选择问题、峰值样本预测误差相对偏大问题等。
　　 本文结合河流水质预测应用，研究了最小二乘支持向量回归算法的一些相关问题。论文主要研究内容及取得的成果有:
　　 1)研究了回归预测模型输入的合理选择问题。根据信息论中的熵信息理论，提出了基于偏互信息的回归模型输入选择算法。该算法在给定输入变量条件下，通过估计备选输入与模型输出之间关联程度，来判定备选输入的取舍。多个线性和非线性测试用例输入选择结果表明，该输入选择算法，能正确识别预测模型输入变量，克服输入变量选择的冗余性问题。同时，输入被选定的顺序反映了该输入对预测模型输出的重要性程度。实际问题的应用结果表明，该算法选定的输入变量能反映系统的变化规律。
　　 2)提出了一种峰值预测的最小二乘支持向量回归算法，该算法可以用来提高峰值区域水质的拟合预测精度。在分析了学习样本分布对最小二乘支持向量回归算法拟合误差的影响基础上，按照加权最小二乘思想，利用样本分布密度因子和样本幅值加权因子修正最小二乘支持向量回归拟合误差，提高了最小二乘支持向量回归对峰值过程的拟合精度，降低了峰值区域样本的预测误差。文中采用了多个测试实例对算法性能进行了检验，最后将算法应用到了水质预测问题。应用结果表明峰值预测的最小二乘支持向量回归算法在保持水质整体预测精度的同时，能显著提高峰值样本预测精度，其峰值样本预测的平均百分比误差绝对值较LS-SVR算法下降27％以上。
　　 3)研究了大样本最小二乘支持向量回归算法的效率问题，提出了一种快速大样本最小二乘支持向量回归算法，并应用于咸潮水质预测。该算法采用无监督核硬聚类方法，首先将学习样本集按推广的欧氏距离相似性测度标准，在高维特征空间进行聚硬类。然后选定类中心样本作为支持向量进入支持向量集，再利用Nystr(o)m算法在低尺度支持向量集样本空间逼近初始样本学习机的核Gram矩阵，从而得到原问题的一个近似解。函数拟合测试及咸潮水质氯化物含量预测实际应用结果表明:该算法能够在拟合预测误差没有明显下降的情况下，将LS-SVR处理大样本学习问题的计算效率提高50倍以上。
　　 4)针对最小二乘支持向量回归算法的单核映射性能及灵活性较差问题，提出了一种分组特征多核最小二乘支持向量回归算法，并应用于水质耗氧量预测。算法采用同一映射函数将所有具有同源特征的输入变量，映射到高维特征空间再进行回归建模。并将该回归拟合目标优化问题转化为半无限线性规划问题，利用交换集法求解。函数拟合测试及水质耗氧量预测应用结果表明:同源特征分组多核最小二乘支持向量回归算法较标准最小二乘支持向量回归算法，预测平均百分比误差降低了17％以上。

目录

摘要

第一章 绪论

1．1 研究背景及意义

1．2 LS-SVM研究现状及分析

1．2．1 LS-SVM算法研究现状

1．2．2 LS-SVM应用研究现状

1．2．3 LS-SVM研究现状分析

1．3 基于LS-SVR的水质预测研究

1．4 本文主要研究内容与章节安排

1．4．1 主要研究内容

1．4．2 论文章节安排

第二章 LS-SVR相关理论

2．1 统计学习理论

2．1．1 经验风险最小化原则

2．1．2 统计学习的基本定理

2．1．3 VC维理论及结构风险最小化原则

2．2 支持向量机

2．2．1 非线性优化理论

2．2．2 支持向量机回归分析

2．2．3 核函数方法

2．3 LS-SVR算法

2．4 小结

第三章 基于偏互信息的回归预测模型输入选择算法研究

3．1 引言

3．2 熵和互信息理论

3．2．1 熵信息理论

3．2．2 联合熵和条件熵

3．2．3 互信息

3．3 偏互信息及输入选择算法

3．3．1 偏互信息

3．3．2 分布密度估计

3．3．3 输入选择算法

3．4 算法测试

3．4．1 去冗余性测试

3．4．2 输入选择测试

3．4．3 实际应用测试

3．5 小结

第四章 面向峰值预测的LS-SVR算法及其在水质预测中的应用研究

4．1 引言

4．2 样本分布对LS-SVR算法的影响

4．3 峰值预测的LS-SVR算法

4．3．1 误差加权修正系数设计

4．3．2 峰值预测的LS-SVR模型

4．4 算法测试及水质预测应用

4．4．1 算法测试

4．4．2 水质预测应用

4．5 小结

第五章 基于核聚类的大样本LS-SVR算法及其在水质预测应用中的研究

5．1 引言

5．2 支持向量选择算法

5．2．1 聚类分析

5．2．2 基于无监督核聚类的支持向量选择算法

5．3 核Gram矩阵逼近及参数估计

5．4 算法测试及水质预测应用

5．4．1 函数拟合测试

5．4．2 水质预测应用

5．5 小结

第六章 分组特征多核LS-SVR算法及其在水质预测应用中的研究

6．1 引言

6．2 多核构造方法

6．3 GFMK-LSSVR算法

6．3．1 GFMK-LSSVR算法模型

6．3．2 SILP问题求解算法

6．4 算法测试及水质预测应用

6．4．1 函数拟合测试

6．4．2 水质预测应用

6．5 小结

总结

参考文献

攻读博士学位期间发表和已录用的论文

声明

致谢