基于云计算的物联网支撑系统关键技术研究

摘要

物联网被称为继计算机、互联网之后的世界信息产业第三次浪潮，全球各国纷纷将物联网产业提升到国家发展的战略高度。随着物联网的高速发展，物联网支撑系统面临着以下几方面必须解决的关键技术问题:(1)海量数据的传输。物联网传输层的任务是把大量终端采集到的信息可靠地传输到后台中心服务器，但是目前传输层网络的建设还远未达到迎接物联网产业规模爆发的水平，感知层采集到的海量数据实时地涌入传输层网络，会导致网络拥塞或节点故障，因此如何快速发现网络故障节点是物联网数据可靠传输的保障。(2)海量数据的挖掘处理。传统数据处理平台难以满足物联网海量数据挖掘的发展要求，具体体现在计算时间过长、容易造成内存不足、系统磁盘存储不够等方面。此外，传统的并行方法抽象度不够高，普通程序员较难掌握。(3)数据的展示和使用。设计出一个通用的用户和数据中心的图形化交互方式也是物联网支撑系统一项待解决的关键问题。
　　 云计算超大规模、高可靠性、可扩展性等特点恰好迎合了物联网向规模化、智能化发展的需要，对海量数据进行存储和处理是云计算的突出特点和能力。本文基于开源云计算平台Hadoop，研究了上述物联网支撑系统的关键技术问题:
　　 (1)采用复杂网络抗毁性研究中的网络节点去除机制，模拟物联网传输层计算机网络中的节点故障，来研究节点故障以后网络遭受破坏的程度，并根据实验结果构建出了一种基于中介性的计算机网络故障定位模型。然而，随着网络规模的扩大，传统方法计算网络中介性的时间复杂度过高，本文改进了基于MapReduce编程模型的中介性算法，提高了运算效率，扩大了基于中介性网络故障定位模型的应用规模。
　　 (2)实现了kmeans聚类算法的并行化，并通过实验验证了MapReduce并行化后的kmeans算法部署在Hadoop集群上后，具有较高的加速比和良好的扩展性，能高效的对海量数据进行聚类。证明了通过把传统数据挖掘算法并行化，运用云计算技术进行数据挖掘是值得研究和推广的。
　　 (3)采用SOA架构思想，使用OSGI的标准设计和实现了云服务，为互联网用户通过图形化界面与Hadoop云平台进行交互提供了一个原始模型，并且模型能够方便地扩充为更复杂的云服务。
　　 实验表明，把云计算融入到物联网支撑系统之中，有助于解决物联网海量数据的可靠性传输和海量数据的挖掘处理、数据的展示等关键技术问题。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景

1．2 课题研究意义

1．3 论文的主要工作

1．4 论文的组织结构

第二章 物联网和云计算概述

2．1 物联网概述

2．1．1 物联网的概念及其发展

2．1．2 物联网系统的组成

2．2 云计算

2．2．1 云计算的概念和特点

2．2．2 云计算的服务类型

2．2．3 各大IT厂商的云计算战略

2．2．4 开源云平台Hadoop

2．3 本章小结

第三章 物联网传输层故障定位研究

3．1 复杂网络

3．1．1 复杂网络简介

3．1．2 计算机网络的复杂网络特性

3．2 中心性维度

3．2．1 节点-中介中心性

3．2．2 节点-度中心性

3．3 网络节点故障后的脆弱性

3．4 网络管理故障定位算法

3．5 实验仿真

3．5．1 相关网络统计特性指标定义

3．5．2 模拟故障产生机制

3．5．3 实验数据集

3．5．4 模拟网络实验结果

3．5．5 真实网络实验结果

3．5．6 实验结果分析

3．6 Betweenness新型网络故障定位模型的提出

3．7 中介性计算的MapReduce并行化

3．8 本章小结

第四章 基于云计算的物联网数据挖掘研究及应用

4．1 数据挖掘的研究现状及特点

4．2 移动互联网数据挖掘

4．2．1 数据集描述

4．2．2 传统k-means聚类方法

4．2．3 基于云计算的k-means算法实现

4．3 实验步骤描述

4．3．1 实验环境

4．3．2 单机处理比较实验

4．3．3 集群加速比性能试验

4．4 本章小结

第五章 一种物联网云服务的设计与实现

5．1 设计目标

5．2 概要设计

5．3 服务访问的设计

5．3．1 技术选型

5．3．2 服务的交互设计

5．3．3 与Hadoop平台交互

5．4 界面设计

5．5 数据的处理与存储

5．5．1 MapReduce统计气温

5．5．2 海量数据存储

5．6 本章小结

第六章 总结与未来工作

6．1 论文总结

6．2 未来工作

致谢

攻读硕士学位期间从事的科研工作及取得的研究成果

参考文献