基于网络编码的传感网数据流并行计算技术

摘要

无线传感网处于物联网末梢，主要负责物联网末端信息采集。随着物联网的发展，无线传感网使用越来越广泛，涉及领域也越来越多。云计算旨在对有意义的大规模数据集进行有效的专业化处理。无线传感网和云计算相结合已经成为一个新的发展方向。本文设计的基于网络编码的传感网数据流并行计算系统，通过将无线传感网和云计算技术相结合，以实现大规模传感网数据集下的异常数据的快速聚类，为用户决策提供有利辅助。本文的主要工作体现在以下方面:
　　(1)针对无线传感网中节点计算能力低，能量受限等不足，本文首先引入Reed-Solomon码设计了一种构造稀疏矩阵的方法来提高无线传感网中节点的能量利用率。实验证明了本文设计的方法能够提高无线传感网中节点的能量利用率。
　　(2)网络编码解码工作会造成信宿时延，而且会增加节点的计算负担。本文设计了适用于Hadoop集群的分布式解码算法，将解码工作放在集群中进行，利用集群强大的计算能力来提高解码效率，减轻了无线传感网节点负担，并通过实验证明集群并行解码的可行性，同时分析了集群中相关因素对解码效率的影响。
　　(3)针对传统MapReduce框架下用于感知数据的异常检测的k-means算法会造成极大的I/O消耗问题，提出了改进的基于MapReduce的单遍k-means算法。文中，从理论上证明了本文提出的方法能够降低程序执行时的I/O消耗，并且实验结果显示，本文设计的算法相对于传统的基于MapReduce的k-means算法，在保证聚类效果的同时，能够降低执行时间。

目录

声明

摘要

1 绪论

1．1 本文研究背景

1．1．1 无线传感网

1．1．2 网络编码

1．1．3 MapReduce分布式计算技术

1．2 本文主要研究内容

1．3 本文研究意义

1．4 本文结构安排

2 系统架构设计

2．1 系统设计方案

2．2 系统整体架构设计

2．3 无线传感网各模块设计

2．3．1 无线传感网网络结构设计

2．3．2 采集终端结构

2．3．3 中继节点设计

2．4 Hadoop集群架构

2．5 本章小结

3 基于MapReduce的并行解码技术

3．1 无线传感网与网络编码

3．2 编码算法设计

3．2．1 编码矩阵设计

3．2．2 数据编码过程

3．3 分布式求解译码矩阵

3．3．1 MapReduce计算框架

3．3．2 基于MapReduce的译码矩阵计算

3．4 MapReduce框架下解码算法设计与实现

3．4．1 行列相乘法

3．4．2 基于MapReduce的解码方法实现

3．5 本章小结

4 感知数据并行聚类分析

4．1 K-means聚类

4．2 数据单遍技术

4．3 K-means++初始化seeding

4．4 MRSK算法

4．4．1 算法流程介绍

4．4．2 MRSK聚类

4．5 MRSK算法复杂度分析

4．5．1 数据块大小设定

4．5．2 I／O复杂度

4．5．3 空间复杂度

4．5．4 时间复杂度

4．5．5 与相关工作进行复杂度对比

4．6 本章小结

5 项目实验

5．1 编码算法性能仿真分析

5．1．1 网络能量消耗

5．1．2 网络负载均衡

5．2 并行解码算法实验分析

5．3 基于MapReduce的单遍聚类实验与分析

5．3．1 实验设置

5．3．2 评价指标

5．3．3 实验结果分析

5．4 Web端页面展示

5．4．1 Cloudera Manager管理系统

5．4．2 监测数据展示

5．5 硬件实物图

5．6 本章小结

6 总结和展望

致谢

参考文献

攻读硕士学位期间发表的论文和出版著作情况

攻读硕士学位期间学术成果获奖情况