基于Kafka的智能水表系统内部数据通信设计与实现

摘要

随着智慧城市的到来,智慧水务也成为了一个很重要的命题.而对于自来水供水企业,如何高效便捷的管理供水、智能收费也就成为了当前水务信息化建设的重要组成部分,在此需求下,智能水表系统作为一种高效的解决方案应运而生.智能水表系统在设计上就被拆分成Web管理模块、数据采集模块、数据存储服务、数据传输服务,模块之间均是相互独立,互不影响,该设计能大幅降低系统内部的内部耦合.现有的数据传输服务方案是建立在数据共享的方式上,由于Web管理模块与数据采集模块之间的消息命令传输存在一些特异性,此方案并不能有效地解决以下问题: 1)数据传输的高效性、可靠性,并且数据可以被实时处理或离线处理. 2)数据库的读写压力大,会影响其它数据的存储和其他功能的运转. 为解决上述问题,本文开展的主要研究工作如下: 1)通过分析、测试对比主流的消息队列,最终确定Kafka消息系统作为智能水表系统内部数据通信服务的解决方案. 2)结合智能水表系统设计基于Kafka消息系统的生产者、消费者实现方案,数据传输格式方案,消息分类处理的方案. 3)在智能水表系统中应用Kafka消息系统后,本文针对Kafka生产者、消费者的性能进行相关参数的压力测试. 本文最终应用Kafka消息系统于智能水表系统中,提高了整个系统内部数据传输以及处理的效率,实现了模块间的独立并行性,同时也保证了整个系统数据信息的实时性,增强整个系统的可靠性和容错性,取得较好的效果.

目录

第一个书签之前

摘 要

ABSTRACT

目 录

1 绪论

1.1 研究背景与意义

1.2 国内外研究概况

1.2.1 智能水表系统研究现状

1.2.2 系统内部数据通信研究现状

1.3 研究内容

2 智能水表系统内部通信需求及方案分析

2.1 智能水表内部数据通信现状

2.2 智能水表内部通信需求概述

2.3 智能水表内部通信技术选型

2.3.1 基于 RPC 的中间件方式

2.3.2 基于消息中间件的方式

2.3.3 智能水表内部通信方案分析

2.4 本章小结

3 智能水表系统基于消息队列方案研究

3.1 主流消息中间件

3.2 消息方案对比

3.3 Kafka消息系统设计特点

3.3.1 Kafka消息队列

3.3.2 Zookeeper服务

3.4 本章小结

4 Kafka在智能水表中的应用设计

4.1 Kafka 在系统中总体应用设计

4.2 智能水表系统内部数据传输格式设计

4.3 智能水表系统内部消息分类处理设计

4.4 本章小结

5 基于Kafka的智能水表系统的实现

5.1 开发环境的搭建

5.2 基于 Kafka 的相关功能实现

5.2.1 Kafka 服务器配置

5.2.2 Kafka 生产者消费者

5.3 测试环境下的性能测试

5.3.1 生产者吞吐率测试

5.3.2 消费者吞吐率测试

5.4 本章小结

6 总结与展望

6.1 总结

6.2 展望

致 谢

参考文献