数据挖掘算法及其生产优化应用研究

摘要

数据挖掘是近年来在流程工业领域大力推广的一项信息技术。一方面，这得益于数据挖掘技术的兴起和快速发展。随着数据采集、存储技术的发展，人类积累了大量的数据。这促使人们寻找一种有力的工具去发现数据中隐含的规则，以更好地指导实践。由此产生了数据挖掘技术。近年来，数据挖掘技术从实验室走向了现实应用，在商业、科学研究、工程技术等方面获得了非常广泛的应用，积累了大量的应用经验。 另一方面，随着工业信息化进程的推进，流程工业中积累了大量的生产数据。尤其是DCS系统和实时数据库的广泛应用，生产数据开始有了完备的记录。这使得数据挖掘技术的进入成为可能。同时数据挖掘技术作为一种全新的生产优化手段具有很大的优势，但由于工业数据的复杂性，这一应用又提出了许多新的难题。 在这一背景下，本文尝试通过对传统的数据挖掘算法进行创新，以解决工业应用难题。 首先提出了一种新的工业数据序列分析方法：BTS算法。该算法的特点在于其灵活性和搜索的高效率。由于实时控制的要求，工业数据库非常庞大：传统算法难以胜任分析和呈现的任务。而BTS算法有很强的压缩能力，并能够灵活地改变压缩率，从而能够以不同粒度对序列的局部和整体进行观察。同时，BTS算法在特征空间中引入位趋势表示法。它既是一种快速的初级相似性模型，又可以作为索引。大大提高了搜索效率。 BTS序列分析表明该数据库蕴含了大量的调整行为，因此数据挖掘技术可能从这些行为中发现生产系统的规律。首先采用传统算法进行挖掘。结果指出生产系统中是否存在严重的不可忽视的复杂效应，需要设计一种新的软件框架。在模型分析的基础上，提出了一个新的算法框架：决策森林。首先针对时间滞后效应，在数据处理过程中引入关系数据库对整个数据库进行大规模重组，使得每条属性中的数据能够相互关联起来。其次是变量之间的函数依赖。算法吸取了CART、bagging、boosting、SLIQ的思想，并在生产模型的基础上，建立了一系列的决策树用以模拟变量之间的关系，并由这些决策树共同作出最终判断。三唑磷的生产实践证明了该方案的有效性。

目录

文摘

英文文摘

致谢

图表目录

第一章数据挖掘概述

1.1数据挖掘的兴起

1.2什么是数据挖掘

1.3主要功能

1.3.1概念描述：特征化和区分

1.3.2关联规则

1.3.3分类和预测

1.3.4聚类

1.3.5其它

1.4数据挖掘软件

1.5各领域的应用

1.5.1生物医学

1.5.2金融业

1.5.3零售业

1.5.4电信业

1.6流程工业中的数据挖掘

第二章生产优化数据挖掘系统

2.1生产工艺介绍

2.1.1基本工艺路线

2.1.2合成工段

2.1.3分离工段

2.2信息系统架构

2.3 DCS控制系统

2.4数据挖掘系统

2.5数据挖掘系统目标

第三章BTS算法与生产数据分析

3.1相似性搜索研究现状

3.1.1基于变换的特征空间

3.1.2分段常数表示PCA

3.1.3基于Landmark的搜索

3.1.4其他算法

3.2 BTS算法

3.2.1显著分段法

3.2.2位趋势表示法

3.2.3相似性模型

3.2.4算法

3.2.5性能测试与比较

3.2.6小结

3.3生产数据的初步分析

3.3.1半月数据曲线

3.3.2单日数据序列呈现

3.4小结

第四章生产数据的初步挖掘

4.1数据预处理

4.1.1属性筛选

4.1.2数值校正

4.1.3数据清理

4.2关联规则挖掘法

4.2.1属性离散化

4.2.2基于盘点数据的挖掘

4.2.3基于实时数据的挖掘

4.2.4基于分组滞后数据的挖掘

4.2.5关联规则算法总结

4.3决策树挖掘

4.3.1 ID3算法简介

4.3.2 ID3盘点挖掘

4.3.3 ID3实时挖掘

4.4小结

第五章生产优化算法研究与应用

5.1决策树算法研究概况

5.1.1拆分数据集

5.1.2控制树的大小

5.2典型算法介绍

5.2.1 ID3算法

5.2.2 C4.5算法

5.2.3 CART算法

5.2.4 SLIQ算法

5.2.5 SPRINT算法

5.2.6多决策树算法

5.3决策森林算法

5.3.1生产模型

5.3.2决策森林算法

5.4生产数据库的二次重组

5.5挖掘结果与应用

5.5.1定性挖掘

5.5.2挖掘建议与应用

5.5.3定量挖掘

5.6小结

第六章结束语

6.1生产优化的补充措施

6.1.1软测量功能

6.1.2全面的生产报表

6.1.3虚拟实验功能

6.2总结

6.3展望

参考文献

附录A英汉术语对照及符号一览表

附录B个人简介与攻读硕士期间科研成果