数据流查询和数据流挖掘在油田中应用的研究

摘要

在数据挖掘和数据分析研究领域中，最近出现了一个新的研究方向，即数据流的挖掘与分析。在网络监控、入侵检测、情报分析、金融服务、股票交易、电子商务、电信、Web页面访问和科学研究等众多领域中，数据以流的形式出现。由于数据流的特殊性，短时间内有大量数据连续到达，这些数据具有随时间动态变化的趋势，怎样对这些数据流使用有限存储空间进行快速处理以获取有用信息，为数据挖掘及其应用研究带来了新的机遇和挑战，也具有很重要的意义。 油田计算机网络建设正日趋完善，油田开发和生产科研工作中的大量信息已经实现网上传输，信息共享的数量和质量得到大幅度提高，开发基于多服务器、大信息量的数据库信息网络监控系统，提供多方位监控信息建设质量和管理过程的手段，及时全面准确地了解掌握每天用户对数据库的使用情况，使网上服务器中的数据信息管理变得可视和透明，通过计算机程序运行取代传统的人工信息管理模式，是迫切需要解决的问题。 本论文主要研究了以下几个方面的内容： (1)通过对国内外数据流技术系统的研究，总结出关于数据流、数据流查询、数据流挖掘以及数据流管理系统(DSMS)的基本特点、模型以及关键技术等。 (2)大庆油田采油二厂各生产部门每天用PDPMIS系统连续的向网络中心传送大量生产数据，本论文把流动的数据集看做一个特殊的数据流，把数据流管理系统(DSMS)做为传统数据库系统的扩展。提出了一个基于数据流挖掘的油田网络监控系统模型，模型添加了用户接口、数据监控、查询处理器、存储区等系统模块，其中在数据流挖掘模块里通过Operators的连接，系统能够通过过滤、聚集、分类，或者忽略某些特定的数据元素。(3)油田生产中，更为感兴趣的问题是近来哪些模式反映较为异常，本论文研究了数据流异常模式的提取。设定的域值条件为采油厂多年的经验值，采用XML结合数据流系统的方式增强系统的可扩展性。同时介绍了一个数据挖掘环境-YaLE(YetAnotherLearningEnvironment)和针对时间序列数据流处理实时和模拟的概念漂移的一个插件工具Conceptdriftplugin。并给出了一个集成学习器KBS-数据流(BayesianBoostingforStreams)实验的样例以及一个数据流可适应的时间窗口配置文件。 (4)介绍了油田网络监控系统的设计与实现，系统将报警条件设定的域值保存到XML文件里，采用DOM访问XML文件；利用了ORACLE的审计、触发器、JOB等功能结合JAVA程序对网络中数据库操作情况、生产数据质量等进行全面的监控，并对异常情况进行报警提示，为兼顾时间和速率以及实际的需求，结合了实时和延时的方式，采用分层报警。以实际项目为依托，对流数据管理系统和流数据挖掘研究提供了一些经验和思考。

目录

文摘

英文文摘

第一章 绪论

第二章 数据流技术

第三章 数据流异常模式提取分析与实验样例

第四章 油田网络监控系统模型

第五章 油田网络监控系统的设计与实现

结束语

致谢

附录 读研期间发表的学术论文

参考文献