基于监督学习的紫外-可见光光谱水质异常事件检测方法研究

摘要

近年来水质污染事件时有发生，对人民生命财产安全造成了直接威胁。采用紫外-可见光光谱进行水质在线分析具有免试剂、低成本、实时性好等优点，已成为城市供水系统水质原位预警的新兴方向。针对现有水质异常事件光谱检测方法存在检出下限较高、报警不及时等问题，本文研究并提出了一种基于监督学习的紫外-可见光光谱水质异常事件检测方法。
　　论文的主要工作和创新点如下:
　　(1)针对现有非监督异常检测方法中污染物检出限较高的问题，论文使用特征污染物及正常水样的全光谱信息进行监督学习，采用偏最小二乘判别分析(PLS-DA)建模，引入序贯贝叶斯法确定水质异常事件，利用正交投影基线校正方法去除不同批次的光谱数据差异。实验结果表明，结合先验知识建模，能进一步降低特征污染物的检出下限。
　　(2)针对光谱设备在长时间运行下导致的数据基线波动问题，开展了监督学习异常事件检测方法的适应性研究，论文提出一种动态正交投影基线校正方法，利用滑动窗中的数据实时调整模型并不断更新基线。实验结果表明，该方法可以解决系统长时间运行下由于基线突变或趋势变化导致的误报问题。
　　(3)针对水质污染事件中特征污染物易受其他物质干扰的问题，开展了监督学习异常事件检测方法的特异性研究，论文提出一种定量评估方法，利用变量投影重要性(VIP)指标评估特征污染物模型及其干扰物或转化物之间的相似性。实验结果表明，模型相似性评估方法能定量预估两种污染物模型的相似度，当模型相似度较低时，可以有针对性地检出特征污染物事件。
　　本文提出的基于监督学习的水质异常事件检测方法，可以较好地利用特征污染物的先验知识，结合对方法适应性和特异性方面的优化，实现更为准确的水质异常事件检测。基于论文成果，开发并完善了基于紫外-可见光光谱的水质预警分析系统。

目录

声明

摘要

插图及附表清单

第1章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 水质预警技术和水质异常事件检测

1．2．2 基于常规水质指标的水质异常事件检测技术

1．2．3 基于紫外-可见光光谱分析的水质异常事件检测技术

1．2．4 当前存在的问题

1．3 本文研究内容

1．3．1 研究思路

1．3．2 章节安排

第2章 基于紫外-可见光光谱的水质异常事件检测综述

2．1．1 紫外-可见光光谱的产生原理

2．1．2 紫外-可见光光谱进行水质检测的原理

2．2 紫外-可见光光谱水质异常检测的一般方法

2．2．1 紫外-可见光光谱水质检测主要方法

2．2．2 基于统计分析的紫外-可见光光谱水质异常事件检测的一般流程

2．2．3 异常检测性能评估的一般方法

2．3 数据采集实验平台介绍

2．4 本章小结

第3章 基于监督学习的UV／VIS水质异常事件检测方法研究

3．1 概述

3．2 基于正交投影的水质紫外-可见光光谱预处理

3．2．1 紫外-可见光光谱预处理概述

3．2．2 正交投影理论基本原理

3．2．3 基于正交投影子空间的紫外-可见光光谱的基线校正方法

3．3 基于PLS-DA的紫外-可见光光谱异常事件检测技术

3．3．1 PLS方法概述

3．3．2 基于PLS-DA的离群点判定

3．3．3 基于序贯贝叶斯方法水质异常概率更新

3．3．4 方法总结及流程框图

3．4 异常事件检测实验设计及结果

3．4．1 污染物入侵事件实验设计

3．4．2 正交投影基线校正方法

3．4．3 基于PLS-DA的紫外-可见光光谱模型建立

3．4．4 四污染物紫外-可见光光谱异常事件检测结果分析

3．5 异常事件检测实验结果讨论

3．5．1 异常事件检测模型训练集对结果影响

3．5．2 正交投影基线校正方法有效性验证

3．5．3 与非监督方法对比

3．6 本章小结

第4章 UV／VIS监督学习异常事件检测方法的适应性研究

4．1 问题的提出

4．2 水质基线波动分析

4．2．1 光谱基线短期突变

4．2．2 光谱基线趋势变化

4．3 动态正交投影光谱适应性校正

4．3．1 动态适应性校正

4．3．2 基于滑动窗的动态正交投影空间校正法

4．4 实验结果分析与讨论

4．4．1 含有基线突变的异常事件检测效果

4．4．2 含有基线趋势波动的正常水质监测分析

4．5 本章小结

第5章 UV／VIS监督学习异常事件检测方法的特异性研究

5．1 问题的提出

5．2 特异性异常事件检测方法及模型相似度评估研究

5．2．1 特异性异常事件检测方法的概念

5．2．2 特异性异常事件检测的方案

5．2．3 基于变量投影重要性指标的模型相似性评估

5．3 实验结果及分析

5．3．1 模型相似性定性评估

5．3．2 模型相似性定量评估

5．4 基于监督学习方法的事件检测系统设计与实现

5．4．1 多污染物知识库设计

5．4．2 基于多污染物库的检测系统实现

5．5 本章小结

第6章 总结与展望

6．1 论文工作总结

6．2 工作展望

参考文献

致谢

个人简历

攻读学位期间发表的学术论文与取得的其它研究成果