基于云平台的智能燃气数据流处理系统设计

摘要

由于传统燃气表具有抄表效率低、人工成本高、记录数据易出错、维护困难、安全性低等问题。智能燃气表技术应运而生，它解决了人工抄表、燃气泄漏自动报警、燃气设备故障检测等一系列问题。相比于传统表而言，它技术更加先进、更加高效、安全性更高。然而，相较于智能燃气设备，燃气平台还停留在简单的多线程程序上。传统的燃气平台处理数据的并发量少、可扩展性差、效率低下、高时延、可处理数据类型简单等问题已逐渐凸显出来。为此，本文深入分析了智能燃气设备数据的特点。并对比现有的主流技术，用云平台解决传统燃气平台可扩展性差的问题，Storm解决传统燃气平台高时延、高并发量的问题，Java NIO2解决高并发量下大量数据读写性能差的问题。
　　传统的燃气平台具有可扩展性差的问题，一旦燃气数据骤增。服务器会由于性能不足从而导致在处理数据时极易丢失数据，想要解决日益增长的数据问题只能通过更换服务器硬件来解决。这将导致不断的更换硬件，给系统带来不必要的开销。基于此，本文系统根据云平台按需所取、可实时扩展的特点搭建了云平台来实时扩展不断增长的数据量要求。
　　智能燃气数据要求具有低时延、高并发、高可靠性等特点。基于以上燃气数据特点，本文用分布式流系统Storm来处理燃气数据。经基准测试，它单个节点处理一百万个数据元组所需时间仅为一秒。更重要的是，在处理数据失败时，它会将处理失败后的数据交由另一个节点继续处理。保证每一条数据都得到正确处理。此外，实时流系统Storm还可以通过扩展其节点来增加系统可以处理的并发量。
　　在传统处理燃气数据的平台中，Java采用阻塞流技术。阻塞流在处理上传数据时，必须等到一条数据处理结束才能进行下一条数据的处理，这将会大大降低系统的IO性能，基于此，本系统采用Java新的流技术NIO2来处理燃气数据，并对两种IO流技术进行了性能比较及实验结果分析。
　　本系统设计完成之后，本文对设计的智能燃气系统采用实时的燃气数据进行了功能测试与压力测试。在压力测试时，分别从并发能力和系统的IO性能两方面来进行了测试。测试结果表明，本文设计的系统足以满足现有的智能燃气设备数据的要求。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 研究现状

1．3 研究内容

1．4 论文主要工作与组织结构

第2章 相关理论技术研究

2．1 云平台理论技术研究

2．1．1 云平台基本概念介绍

2．1．2 OpenStack开源云平台各组件介绍

2．2 流处理系统理论技术研究

2．2．1 流处理系统概念介绍

2．2．2 Storm技术研究

2．3 Java IO流理论技术研究

2．3．1 BIO(同步阻塞琉)、NIO(同步非阻塞流)NIO2(异步非阻塞流)技术研究

2．3．2 Java IO性能分析

2．4 本章小结

第3章 智能燃气设备通信协议定义

3．1 智能燃气设备通信协议帧结构

3．1．1 位格式

3．1．2 帧格式

3．1．3 链路传输

3．2 智能燃气设备通信协议用户数据结构

3．2．2 信息域R

3．2．3 地址域

3．2．4 应用数据域

3．2．5 应用数据报文结构

3．3 本章小结

第4章 云平台智能燃气设备流处理系统需求分析与架构设计

4．1．2 智能燃气系统需求分析

4．2 智能燃气系统架构设计

4．3 智能燃气终端上传数据处理

4．4 程序设计

4．4．1 智能燃气系统云平台搭建

4．4．2 智能燃气系统流处理系统搭建

4．4．3 智能燃气系统流处理系统程序设计

4．5 本章小结

第5章 智能燃气系统性能测试

5．1 智能燃气系统测试环境简介

5．2 智能燃气系统基本功能测试

5．3 智能燃气系统性能测试

5．3．1 并发响应时间测试

5．3．2 IO性能测试

5．4 本章小结

6．1 总结

6．2 展望

参考文献

致谢

攻读学位期间发表学术论文和参加科研情况