指纹支付系统中海量指纹数据云存储平台的优化设计与实现

摘要

近年来随着电子商务的飞速发展网上的交易量日渐增大，这就对网上交易的安全性提出了更高的要求。有些学者提出采用指纹识别技术来提高网上交易的安全性。相比较于传统的由字母数字组成的密码，指纹识别更加便捷且不容易被破解。
　　相对于传统的密码方式，指纹识别带来高安全性的同时也带来了高复杂性。系统需要存储的数据量变大，并且对读写数据的效率有了更高的要求。这时传统的关系型数据库已经无法满足我们的需要，因此本文采用云存储平台来存储指纹支付系统中海量指纹数据。
　　本文选择HDFS作为云存储平台的基础架构，但用于指纹支付系统中海量指纹数据存储时还存在一些问题。一方面HDFS在设计之初是用来处理大量大文件的，用于海量指纹数据小文件时就会出现NameNode内存不足，查询效率过低等问题。另一方面HDFS中负载均衡算法只片面的针对各数据节点的磁盘空间使用率进行负载均衡，并没有全面的考虑数据节点状态，不能使集群更健康的运行。
　　针对以上两个方面的问题，本文着重研究了HDFS存储海量指纹数据小文件时的优化方案以及多角度动态负载均衡算法，所以要做的主要工作为以下几个方面:
　　(1)对指纹支付系统中云存储平台进行了需求分析，并根据需求分析提出了设计目标。
　　(2)设计实现了上层管理客户端。首先进行模块设计，然后通过HTML语言完成Web客户端的实现。
　　(3)针对需要存储的数据特点，我们对HDFS进行了一定的优化。在数据上传到HDFS之前先要传送到小文件判别合并器中;小文件按照地域信息进行合并;元数据分布式存储到各个数据节点;针对热点小文件设定相应的缓存策略。
　　(4)对HDFS中负载均衡算法进行优化，提出了多角度动态负载均衡算法。判断一个数据节点的负载状态，不仅仅考虑其磁盘内存空间使用率，还要考虑其存储文件被读取的频繁程度以及不同数据节点的不同配置，综合几个角度动态得出threshold（阈值）。并且提出负载均衡需要选择正确的时间，在集群负载整体过重时选择暂不进行负载均衡以免加重集群负担。
　　通过实验证明，以上工作确实提高了云存储平台用于存放海量指纹数据时的性能，并且使集群的负载均衡更加的全面。本文的研究工作对于指纹支付系统中云存储平台的构建具有积极的意义。

目录

摘要

第1章 绪论

1．1 研究背景

1．2 研究现状

1．2．1 云计算研究现状

1．2．2 云存储研究现状

1．2．3 指纹识别系统中数据存储模块现状分析

1．3 本文要解决的问题

1．3．1 针对指纹支付系统需求进行Hadoop云存储平台上层模块设计

1．3．2 设计出的云平台针对小文件进行性能优化

1．3．3 对云存储平台中的负载均衡算法进行优化

1．4 论文研究意义和内容

1．5 论文组织结构

1．6 本章小结

第2章 基于Hadoop的海量指纹数据云存储平台上层设计

2．1 云存储概念

2．2 Hadoop工作原理

2．2．1 分布式文件系统HDFS

2．2．2 分布式计算方法MapReduce

2．3 需求分析

2．3．1 指纹支付系统中海量指纹数据存储平台的具体要求

2．3．2 存储平台设计目标

2．4 存储平台上层模块设计

2．5 本章小结

第3章 针对海量指纹数据小文件进行针对性优化

3．1 传统HDFS存储小文件存在的问题

3．2 现有的解决HDFS下小文件存储效率问题方法

3．2．1 HAR(Hadoop archive)技术

3．2．2 SequenceFile序列化文件技术

3．3 针对海量指纹数据小文件优化方案设计

3．3．1 小文件合并

3．3．2 元数据存储

3．3．3 缓存策略

3．3．4 存储与查询流程

3．3．5 查询性能优化的理论证明

3．4 针对小文件优化方案实验设计以及结果分析

3．4．1 实验环境

3．4．2 实验数据集

3．4．3 实验方案设计以及结果分析

3．5 本章小结

第4章 云存储系统中负载均衡算法优化

4．1 HDFS中的负载均衡

4．2 HDFS中的负载均衡算法存在的问题

4．3 多角度负载均衡算法

4．3．1 数据节点硬盘使用率参数

4．3．2 数据节点网络数据流量参数

4．3．3 数据节点内存使用率参数

4．3．4 集群繁忙程度评价参数

4．3．5 多角度负载均衡的阈值(threshold)计算

4．3．6 负载均衡数据转移策略设置

4．4 多角度负载均衡算法优化方案的实验设计以及结果分析

4．4．1 实验环境

4．4．2 实验数据集

4．4．3 实验方案设计

4．4．4 实验结果以及结果分析

4．5 本章小结

第5章 总结与展望

参考文献

攻读硕士学位期间主要的研究成果

致谢

声明