数据挖掘在气象数据收发监控系统中的应用

摘要

本论文的研究基于甘肃省气象局重点研发项目“气象数据收发全网监控系统”完成。开发的《全网监控系统》综合应用了计算机技术的最新研究成果，结合我省气象实时业务的特点，实现了对所有实时气象数据收发的全程、多视角、自动化监控，最大限度地提高了数据传输的可靠性及实时性，减轻业务人员的工作量。同时，系统实现了任意时段、任意类别资料传输质量的统计分析及内部一致性分析，并且根据分析结果找出了实时业务存在的问题，提出了改进建议，为传输质量评估和业务诊断分析提供了依据。本文的主要工作以及创新点有以下几方面： 本文在查阅大量资料的基础上，详细介绍了我国气象数据收发全网络监控系统的研究现状、研究内容、相关技术方案；介绍了数据挖掘技术在全网监控系统中的研究现状、应用方法、过程及步骤。通过分析气象领域数据传输现状及用户需求，确定了本项目的研究内容及解决的技术难题，确定数据挖掘技术拟解决的问题(气象数据传输异常点的分析；温度和区域自动站数据采集之间的关联关系；信息传输质量和业务流程或系统稳定性之间的关系)，并提出解决此任务的数据挖掘算法。 本文从信息传输的角度，分析了各类气象资料的多种异构数据源的特点(观测频次、文件命名方式、内容格式、内容标识、时空特点及收发平台等)，提出了采用元数据技术实现复杂气象数据的统一管理，本文采用ETL技术，实现不同平台下所有收发数据的抽取、清理、转换、集成和入库存储等工作，为实时监控和主题挖掘奠定了基础。在此基础上，实现统一平台所有收发资料可视化的监控和预警。保证了气象数据收发的及时性，提高了传输质量。 本文尝试通过数据挖掘的方法，解决气象数据的特定问题。提出了“元数据模型下的分类算法”，较好地解决了原有分类算法处理气象数据方面的不足，结合行业领域知识，在模型已知的情况下，重点考虑了数据的动态变化，即数据随业务的变化而变化、随时间、季节的变化而变化。同时减少了原有分类算法繁琐的重复训练过程，极大提高了算法的效率，能够满足现有业务和今后业务拓展的需求。另外，通过孤立点分析和关联分析，发现了很多现有业务系统BUG、业务流程存在的问题，分析了区域自动站数据采集器和温度变化的关系。针对发现的这些问题，提出了改进措施，并在系统中得以实现。从而保证了各类气象资料传输的及时性和完整性，提高了传输质量。 通过本文的尝试，利用数据挖掘技术对气象数据实施挖掘是可行的，但要在气象领域广泛使用，还需要针对气象数据和气象工作的特点，提出解决气象问题的专有算法，并要充分利用领域知识对挖掘模式作出评估，解决气象数据挖掘效率低的问题。

目录

文摘

英文文摘

声明

第一章绪论

1.1项目开发背景

1.2气象数据收发全网监控系统的现状

1.3数据挖掘技术在气象领域的应用

1.3.1国外气象数据挖掘研究及应用情况

1.3.2国内气象数据挖掘研究与应用情况

1.4项目来源和主要研究内容

1.5本人在此项目中发挥的作用

1.6系统取得的业务效益及推广应用情况

1.7项目研究的目的和意义

1.7.1项目研究目的

1.7.2研究的意义

第二章数据挖掘概述

2.1数据挖掘的含义

2.2数期挖掘的功能

2.2.1自动预测趋势和行为

2.2.2关联分析

2.2.3聚类

2.2.4概念描述

2.2.5偏差检测

2.3数据挖掘的方法

2.4数据挖掘的实施步骤

2.4.1数据挖掘环境

2.4.2数据挖掘过程图

2.4.3数据挖掘步骤

2.5数据挖掘系统的主要组成

2.6实施数据挖掘项目考虑的问题

第三章气象数据收发流程与研究内容

3.1气象数据收发流程

3.1.1观测资料上行信息传输流程

3.1.2气象资料和产品下行传输流程

3.1.3信息存储检索信息传输流程

3.1.4其它信息的传输流程

3.2气象数据收发全网监控系统研究内容

3.3气象数据收发全网监控系统实现的技术路线

3.4挖掘主题

第四章ETL过程及实现

4.1数据结构描述

4.1.1原始数据结构分析

4.1.2数据收发数据库结构的分析

4.2 ETL的实现

4.2.1 ETL的处理范围

4.2.2数据抽取

4.2.3数据清洗与数据转换

4.3元数据管理

4.3.1元数据概述

4.3.2通过元数据技术实现气象资料收集和分发节目表的管理

4.3.3元数据节目表在实体节目表生成中的作用

4.3.4元数据节目表在LOG文件收集中的作用

4.3.5元数据节目表在资料备份中的作用

4.3.6元数据在ETL中的作用

第五章气象数据收发全网监控系统数据库及监控平台的设计

5.1气象数据收发全网监控系统数据库设计

5.1.1数据库表结构

5.1.2数据入库

5.2气象数据收发全网监控平台的设计

5.2.1 C／S方式的监控

5.2.2 B／S方式的监控

5.3 监控结果的展示

5.3.1 C／S的展示方式

5.3.2 B／S的展示方式

5.4气象数据收发全网监控系统稳定性的提高

第六章气象数据收发监控系统挖掘任务和算法分析

6.1分类

6.1.1模型的建立(元数据分类模型)

6.1.2算法的实现

6.2关联分析

6.2.1区域自动站资料收发质量和温度的关联分析

6.2.2信息传输质量和业务流程(或业务系统稳定性)的关联分析

6.2.3算法描述

6.2.4算法的改进

6.3孤立点(异常点)的分析

第七章结果分析

7.1气象传输质量统计分析结果

7.2自动站资料传输质量和业务流程的关系

7.3区域自动站资料和温度之间的关系

7.4异常点的分析结果

结论与展望

1.总结

2.展望

参考文献

在学期间的研究成果

致 谢