基于storm的实时物流数据查询系统设计与实现

摘要

基于物联网的智慧物流是在物流配送中集成智能化技术，它为物流管理提供丰富的管理信息，使物流能够具有思维，感知，分析学习和自动解决配送中的问题的能力，从而高效，快捷，方便地存储和运输货物。随着物流功能的扩展，传统物流管理系统存在以下不足。（1）智能物流通过传感器将物流货物的温度信息，湿度信息等详细信息实时传送至服务器端供用户查询，物流信息的数据量开始爆炸式地增长，而传统物流管理系统存在单节点运算的性能瓶颈，无法处理物流管理中产生的海量数据。（2）物流数据源源不断地产生，具有无限性，实时性，多样性等特点，人们对于物流数据处理的方式趋向于实时化，个性化查询，传统的物流信息管理系统无法满足人们对实时的多样化的物流数据查询的需要。本论文针对以上问题，调研推特公司推出的storm实时分布式流处理平台和斯坦福大学的数据流管理系统stream，针对实时的物流数据处理设计实现了基于storm的实时物流数据查询系统，主要进行了如下的研究实现工作。
　　首先，论文设计了结构化持续查询语言CSQL（Continues Struct Query Language），并基于开源工具antlr开发该语言的词法语法解析器。CSQL选取了stream系统中的持续查询语言CQL（Continues Query Language）中支持监控的查询语句，并结合SQL(Struct Query Language)的语法规则做了相应的简化，并通过antlr开发了词法和语法分析工具，对于错误的关键字词提示词法错误信息，同时对语法有错误的语句提示语法错误信息，从而使数据管理员能够使用简单的查询语句实现复杂的数据分析功能。
　　其次，论文完成了实时物流查询系统中以下三个关键模块的设计与编码工作。（1）对查询语句的语义提取。（2）逻辑计划生成。（3）物理拓扑提交。对于通过词法和语法解析的正确查询语句，服务器对于该语句进行语义的提取，并结合语义生成逻辑计划，通过算子优先级选择、组合、调度算子集中的算子，优化逻辑计划，最终生成物理执行拓扑，提交至storm平台运行。从而使不熟悉storm平台的用户可以方便提交分布式查询任务。
　　最后，论文设计并实现可远程操作系统的类jdbc功能的JRDT(Java Real-time Develop Tool)客户端。JRDT用java 语言实现，提供了登录，创建流，查询，监听和关闭流功能，实现了用户与系统的友好交互。并使用java的swing框架编写了可视化界面，从而用户可以更加直观地与服务器进行交互，方便数据管理员通过界面或者程序对查询结果做进一步处理。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1课题研究背景及意义

1.2选题依据

1.3章节安排

第二章 相关背景知识介绍

2.1 stream系统

2.2 storm平台

2.3 NSQS（NJUPT STREAM QUERY SYSTEM）系统框架介绍

2.4本章小结

第三章 NSQS系统模块设计与实现

3.1 CSQL语言设计

3.2 CSQL解析流程

3.3语义分析和算子调度执行

3.4本章小结

第四章 JRDT客户端设计与使用

4.1 JRDT设计框架和接口

4.2 JRDT操作流程

4.3 JRDT和系统操作指南

4.4本章小结

第五章 系统实验分析

5.1系统客户端功能测试

5.2系统服务器端功能测试

5.3 NSQS系统性能测试

5.4本章小结

第六章 总结与展望

参考文献

附录1 程序清单

附录2 攻读硕士学位期间撰写的论文

附录3 攻读硕士学位期间申请的专利

附录4 攻读硕士学位期间参加的科研项目

致谢