基于太湖蓝藻物联网的数据处理系统的设计与实现

摘要

近年来物联网成为了全球热门的话题，在我国物联网已列入战略性新兴产业之一，在很多行业中得到应用。对太湖蓝藻的监测是环境监测应用的一个实际案例，是我国在构建物联网宏伟蓝图中的一个重要组成部分。但是物联网在发展过程中依然存在很多问题，目前对于海量数据的存储和处理技术还处在发展过程中，所以在这方面是值得我们做很多研究的。
　　本文主要讲述了数据处理系统的开发过程，该系统是物联网信息中心项目的一个子系统，数据来源是太湖蓝藻的检测数据。该系统基于Hadoop框架的HDFS文件系统和MapReduce并行计算模型，使用Eclipse开发工具，采用Java语言完成。系统完成对太湖蓝藻数据的获取、存储和处理，其中包括对传感器数据的解析、数据处理流程的编辑、流程规则文件的生成和解析、数据处理流程的执行、数据持久化等功能。系统采用的Hadoop框架对海量数据的存储和处理来说是一个高效的平台，经过测试表明，该系统满足客户的基本需求，对物联网信息中心进一步的发展奠定了坚实的基础。
　　本文首先介绍了项目背景、系统的开发目的和课题的提出，并给出了论文结构安排;然后，介绍了系统的相关概念和关键技术，说明了物联网信息中心项目的概况;系统分析部分，首先介绍了数据处理系统的整体结构，明确系统的业务流程，分析出系统的关键问题，最后得出系统需要完成的具体功能;在系统的设计部分，首先得出系统的总体设计，然后对总体设计划分好的模块的设计进行了详细介绍;在系统实现部分详细介绍了系统的各个功能模块的实现过程以及其使用的相关技术。系统应用部分，对监测到的太湖蓝藻数据进行处理，并且得出数据报表，整个过程对系统实现的功能和性能都进行了验证，得出结论;最后，对本文工作作了总结，并进行了下一步工作展望。

目录

声明

摘要

第1章 绪论

1．1 项目背景介绍

1．2 系统的开发目的

1．3 本文的主要研究内容

1．4 本文结构安排

第2章 相关概念与关键技术

2．1 物联网信息中心概述

2．2 数据处理系统概述

2．3 Hadoop框架介绍

2．3．1 HDFS介绍

2．3．2 MapReduce介绍

2．3．3 MapReduce在Hadoop中的实现

2．4 Restful介绍

2．5 本章小结

第3章 系统分析

3．1 系统的总体概述

3．2 业务流程介绍

3．2．1 解析透传数据的业务流程

3．2．2 数据处理流程的业务流程

3．3 系统的关键问题

3．3 系统的功能分析

3．4 本章小结

第4章 系统设计

4．1 系统总体设计

4．2 系统功能模块划分

4．3 主要功能模块设计

4．3．1 数据接口模块的设计

4．3．2 数据解析模块的设计

4．3．3 流程编辑模块的设计

4．3．4 流程调度模块的设计

4．3．5 执行引擎模块的设计

4．3．6 流程执行模块的设计

4．3．7 数据持久化模块的设计

4．5 数据库设计

4．4 本章小结

第5章 系统实现

5．1 数据接口模块的实现

5．2 数据解析模块的实现

5．3 流程编辑模块的实现

5．4 流程调度模块的实现

5．5 执行引擎模块的实现

5．6 流程执行模块的实现

5．7 数据持久化模块的实现

5．8 本章小结

第6章 系统应用

6．1 应用案例背景介绍

6．2 数据解析

6．3 流程编辑

6．4 数据处理结果

6．4 本章小结

第7章 结论

7．1 本文工作总结

7．2 进一步工作展望

参考文献

致谢