基于spark的化工装置平稳度实时预测模型

摘要

石化行业一直是我国支柱行业，著名的化工能源企业如中国石化、中国石油、中国海油等公司拥有着庞大的固定资产和大量的从业者，把控着国民经济的命脉。其生产的各类化工产品大量应用于交通、建筑、农业等工业领域，也出现在人民日常起居的方方面面。化工行业无时无刻不在促进着各行各业的发展，也造福于世界人民的生活。
　　但是，一直以来，化工行业都属于高风险行业，各类化工事故时有发生，而绝大多数化工事故都与化工装置密切相关。化工装置的故障或损坏会直接导致生产受阻，造成项目进度延缓和一定的经济损失。严重时会发生爆炸、起火、或毒气泄露等重大事故，造成人员伤亡。
　　化工装置是生产化工产品过程中应用的全部器械、机件的总称。化工装置的持续稳定运行非常重要，它是保障化学反应持续稳定进行的必要条件，也是保障人员生命财产与能源公司资产的关键前提。因此，确保化工装置及其设备平稳、安全地运作就成为了世界各大化工企业的首要任务。各公司都大大加强了防范意识，并对化工装置的风险评估办法进行积极研究。
　　本文以大数据分析技术为核心，构建了一套化工装置平稳度实时预测的模型。该模型首次将spark大数据分析技术成功应用于化工装置稳定性监测领域。在这套化工装置平稳度实时预测模型中，主要有以下研究工作和创新点:
　　(1)针对模型训练部分:根据化工装置现场推送的数据情况，定制设计了一套“清洗数据”规则、一套“行转列”规则;为了削减数据规模，定制设计了一套“特征列筛选”规则，该规则能有效节省大量运算空间和时间，并提供极为高效准确的预测效果。
　　(2)针对实时数据预测部分:根据化工企业实际需求，提出一种“kafka分布式消息队列+Spark Streaming流式数据处理程序”的系统架构;首次在化工能源板块，对多种大数据分析工具特殊地设计、优化，最终合理、成功应用。
　　(3)针对模型训练部分和实时预测部分的整合:为了确保模型训练过程与实时预测过程并行进行，将Akka模型融入系统架构，使得模型成果的更新与获取能够有效隔离。线下利用历史数据进行算法模型训练，模型成果存入模型工厂;线上直接取用模型成果。两个过程互不干扰。
　　(4)针对实际预测情况:根据每台化工装置各个点位的实际预测效果差别，本论文定制了不同的模型训练、预测方法;针对性地采用算法调优、改进策略对大量目标位号进行逐个精确调教。
　　(5)针对成果展示部分:面向化工厂用户，定制设计开发了一个分析系统，将预测结果与数据实际情况比对，绘制预测图，给出装置平稳度结论，并及时报警通知用户;此外，用户可以通过该系统手动指定参数，并下达执行各类spark程序规则、流程的指令。
　　本论文基于spark的化工装置平稳度实时预测模型已经在燕山石化化工一厂、二厂上线运营。

目录

声明

致谢

摘要

1 引言

1．1 研究背景与意义

1．1．1 项目研究背景

1．1．2 项目研究意义

1．2 研究现状分析

1．3 论文内容及结构概述

2 相关理论基础

2．1 Spark大数据计算框架

2．1．1 RDD概念

2．1．2 Spark编程模型

2．1．3 Spark架构

2．1．4 Driver程序在Spark架构中的运行流程

2．2 Spark Streaming流式数据处理框架

2．2．1 Spark Streaming与Storm的比较

2．3 Kafka分布式消息队列

2．3．1 Kafka的整体架构

2．3．2 Kafka的使用场景

2．4 分布式存储系统HBase

2．4．1 HBase的概念

2．4．2 HBase存储机制

2．4．3 HBase与RDBMS的比较

2．5 内存数据库Redis

2．6 分布式协调服务Zookeeper

2．6．1 Zookeeper的作用和特点

2．6．2 Zookeeper的角色及其作用

2．6．3 Zookeeper工作原理

2．7 分布式计算工具集Akka

2．7．1 Actor与消息传递

2．7．2 Akka对Actor模型的发展

3 模型训练模块的设计

3．1 数据清洗规则的设计

3．1．1 初步取数

3．1．2 过滤小波动数据

3．1．3 数据时间错位处理

3．1．4 去除目标位号不存在时间的数据

3．1．5 获取数据量丰富的自变量数据

3．1．6 保证记录的逻辑有效性

3．1．7 行转列规则

3．2 相关性分析的实现

3．2．1 斯皮尔曼等级相关

3．2．2 相关性定量分析

3．3 模型训练过程

3．4 本章工作小结

4．实时预测模块的设计

4．1 设计思路分析

4．1．1 kafka的应用

4．1．2 Spark Streaming流式数据处理框架

4．1．3 Redis的应用

4．1．4 Akka的应用

4．1．5 预测值的得出和处理

4．2 本章工作小结

5．算法的比较与调整

5．1 神经网络算法的尝试

5．2 随机森林算法的尝试

5．3 其他方法的尝试

5．3．1 梯度树提升算法的尝试

5．3．2 改变模型时差的尝试

5．3．3 自相关位号的确定

5．4 本章工作小结

6．数据展示分析模块的设计

6．1 模块功能说明

6．2 系统功能

6．2．1 单位字典

6．2．2 规则列表

6．2．3 流程列表

6．2．4 模型列表

6．2．5 位号列表

6．2．6 设备列表

6．2．7 装置列表

6．2．8 其他数据展示界面

6．3 数据操作功能

6．3．1 流程指定功能

6．3．2 位号预测功能

6．3．3 仪表失征检测

6．3．4 短信发送设置

6．3．5 系统日志记录

6．3．6 装置平稳度预测

6．3．7 模型准确率统计

6．4 系统整体架构

6．5 本章工作小结

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集