面向物联网的信息存储技术研究

摘要

随着物联网技术的发展，物联网技术在生活和工业生产中的应用也越来越多，其每天产生的数据量也在飞快地增长。物联网数据有异构性、海量性、时效性等特点，这些特点表明其数据形式多以海量的小文件形式为主。Hadoop是目前被业界广泛用于处理大规模数据的一种开源云计算技术，然而，Hadoop云计算技术对海量物联网小文件数据处理存在执行效率不高和资源占用率过高等不足之处，故改进Hadoop云计算技术对海量物联网数小文件数据的处理有着重要的研究意义。
　　 本文针对物联网数据的海量小文件形式的特点和Hadoop技术中HDFS存储海量小文件的不足，本文利用Hadoop云计算技术对具有二维坐标属性的海量物联网小文件进行聚类处理，并提出了相关存储优化策略。首先，本文采用能够自动确定簇个数的G均值算法对物联网数据进行聚类分析，用四叉树结构索引簇中的文件。然后，采用基于文件距离紧密程度合并策略将簇中的小文件合并成一个包含多个存储块的大文件，将每个块中的文件索引存储在该块的头部。最后，采用块局部索引预加载策略来提高访问效率和减轻NameNode的访问负载。
　　 本文最后对基于MapReduce的G均值算法进行实验，从实验结果可以得出该算法对海量数据聚类分析有明显优势。然后，还进行了基于距离紧密程度的海量小文件合并存储实验，实验结果表明合并存储后可以有效地减少HDFS中元数据的大小。最后，通过局部索引预加载访问实验，得出在用户频繁访问同一个块中小文件时，访问效率可以得到明显的提升。

目录

声明

摘要

1 绪论

1．1 研究背景及意义

1．1．1 课题研究背景

1．1．2 课题研究意义

1．2 国内外研究现状

1．2．1 Hadoop的研究现状

1．2．2 基于MapReduce的聚类算法的研究现状

1．2．3 海量数据存储的研究现状

1．3 本文的工作

1．4 文章的结构

1．5 本章小结

2 相关技术研究

2．1 物联网技术

2．2 Hadoop云计算技术

2．2．1 云计算概念

2．2．2 云存储概念

2．2．3 Hadoop架构

2．2．4 MapReduce编程模型

2．2．5 HDFS体系结构

2．3 技术路线

2．3．1 HDFS存储物联网小文件的不足

2．3．2 设计思想

2．4 本章小结

3 海量物联网数据聚类算法的研究

3．1 聚类算法

3．1．1 K均值算法

3．1．2 高斯分布测试算法

3．1．3 G均值算法

3．2 物联网数据聚类算法的设计

3．2．1 K均值算法的设计

3．2．2 高斯分布测试算法的设计

3．2．3 G均值算法的设计

3．3 本章小结

4 海量物联网数据存储优化

4．1 Hadoop内存元数据结构

4．2 四叉树文件索引设计

4．2．1 四叉树结构

4．2．2 四叉树索引设计

4．3 物联网小文件合并策略的研究

4．3．1 HDFS小文件处理方案

4．3．2 基于文件关联程度的合并策略

4．4 局部索引预加载访问优化策略

4．5 本章小结

5 实验

5．1 实验环境的部署

5．1．1 实验平台环境

5．1．2 Hadoop主要配置

5．2 实验结果与分析

5．2．1 G均值算法实验结果

5．2．2 G均值实验结果分析

5．2．3 存储优化结果分析

5．3 本章小结

6 总结与展望

6．1 总结

6．2 展望

致谢

参考文献

附录