Hadoop架构下近红外光谱大数据安全机制

摘要

近红外光谱分析技术具有无损、检测速度快等特点，广泛地应用在过程分析领域。该技术检测产生的近红外光谱数据量大，但单个近红外光谱文件小(小于1MB)、信息量低，对海量近红外光谱大数据的分析挖掘，最好的方法是借助云计算。在现有的云计算中，Hadoop云计算是比较流行的大数据处理平台之一。用Hadoop处理近红外光谱大数据，需考虑Hadoop架构安全。Hadoop默认使用64MB数据分块存储云端数据，近红外光谱数据的单文件远小于Hadoop数据分块。因此，在Hadoop云端的近红外光谱数据分块上，存在有多个完整的近红外光谱单文件，给云端近红外光谱数据安全造成威胁。
　　针对上述近红外光谱数据在Hadoop云端存在的安全问题，论文对Hadoop架构和近红外光谱大数据特点进行了深入研究，提出了Hadoop架构下近红外光谱大数据安全机制。针对海量的近红外光谱数据，建立近红外光谱数据的关键波段集数学模型，区分和简化海量近红外光谱数据中关键波段区数据和其他数据。设计二分关键波段集检测算法，高效检测出海量近红外光谱单文件中的关键波段集。算法可以人工设定程序对光谱文件中关键波段集的检测范围及步长，并对检测到的关键波段集进行加密保护，在光谱数据文件中形成加密和非加密数据并存状态。关键波段集检测加密完后，采用兼容Hadoop分块操作的LZO字典压缩算法对近红外光谱数据进行压缩合并，并上传到Hadoop集群保存。
　　Hadoop架构下的近红外光谱大数据安全机制，在不降低Hadoop集群性能的前提下，对客户端海量近红外光谱数据进行了适合Hadoop文件管理的安全设计，保证了上传到Hadoop云端的近红外光谱大数据安全。在烟叶原料近红外光谱信息共享系统运行中表明，论文的安全机制设计是可行的。

目录

摘要

1、绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．3 本文的主要工作和结构安排

2、相关技术研究

2．1 Hadoop

2．1．1 Hadoop项目简介

2．1．2 Hadoop分布式文件系统

2．2 近红外光谱技术及其数据

2．2．1 近红外光谱技术

2．2．2 近红外光谱数据特点

2．3 关键波段集模型

2．4 LZO压缩技术

2．4．1 LZO压缩算法简介

2．4．2 LZO算法原理

2．5 本章总结

3、Hadoop下近红外光谱数据安全研究

3．1 HDFS数据存储

3．1．1 数据的冗余存储

3．1．2 错误恢复

3．1．3 数据存储平衡

3．1．4 数据完整性检查

3．1．5 Secondary NameNode的元数据备份

3．2 Hadoop的访问控制

3．3 Hadoop RPC安全验证

3．4 Hadoop框架下近红外光谱大数据安全策略

3．4．1 Hadoop云端数据加密存储策略

3．4．2 Hadoop下光谱数据小文件处理策略

3．4．3 数据客户端管理策略

3．4．4 近红外光谱数据压缩策略

3．5 本章总结

4、Hadoop架构下近红外光谱大数据安全机制设计

4．1 总体设计

4．2 详细设计

4．2．1 用户数据集设计

4．2．2 关键波段集检测算法

4．2．3 检测算法性能分析

4．2．4 数据加密与压缩设计

4．2．5 数据解密设计

4．3 本章总结

5、Hadoop框架下近红外光谱大数据安全机制实现

5．1 测试环境

5．2 主要功能代码

5．2．1 关键波段集检测代码

5．2．2 关键波段集加密代码

5．3 应用界面展示

5．3．1 客户端登陆

5．3．2 光谱数据上传

5．3．3 权限查询管理

5．4 本章总结

6、总结与展望

6．1 论文总结

6．2 论文展望

参考文献

致谢

攻读硕士学位期间科研成果和参加的主要科研项目

声明