基于Hadoop的海量交易记录查询系统研究

摘要

随着互联网的快速发展，人们的消费习惯也在转变，网上购物以其方便快捷的特点受到越来越多人的青睐。随着越来越多的商家进驻电子商务网站，商品种类和数量迅速增多，伴随着用户巨大的访问量和庞大的交易额，电子商务网站将产生海量的交易记录，传统关系数据库的处理能力正面临严峻的挑战。
　　云计算技术在如今数据急剧膨胀的时代应运而生，通过利用网络连接大量不太昂贵的计算节点，并采用分布式软件将节点虚拟成一个可靠的高性能计算平台，云计算可以提供“几乎无限”的计算和存储能力。云计算为海量数据的存储和处理提供了一种新的解决方案。Hadoop是一个对大数据进行分布式处理的云计算框架，它可以使用户在不了解分布式系统底层细节的情况下，开发分布式程序对大数据进行处理，作为一个开源的系统，Hadoop成为企业界和研究领域的热点。
　　本文通过对 Hadoop的深入分析和研究，根据交易记录查询系统的需求，设计并实现了基于Hadoop的海量交易记录查询系统。首先对Hadoop及其相关技术做了研究，着重介绍了Hadoop云计算框架中的HDFS分布式文件系统和 HBase分布式数据库，分别介绍了 HDFS的特性、系统框架、副本存放策略和HBase的系统框架及数据模型。其次，重点分析了HBase的存储特点，通过分析HBase的数据存储方式、Region定位方式和写数据过程，提出了系统设计的优化和改进建议。接着，对基于Hadoop的海量交易记录查询系统进行了设计和实现，主要包括数据接入层、存储层和查询层；为了解决集群中节点时间不同步的问题，设计并实现了TSS时间同步子系统。最后，通过具体的测试用例对系统进行功能测试和性能测试，并对测试结果进行了分析，验证了系统的可行性和正确性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1本文的研究背景

1.2研究意义

1.3论文主要工作和组织结构

第二章 Hadoop及相关技术

2.1 Hadoop概述

2.2 HDFS分布式文件系统

2.3 HBase分布式数据库

2.4本章小结

第三章 HBase存储特点分析

3.1 HBase的数据存储方式

3.2 Region定位方式分析

3.3写数据过程

3.4本章小结

第四章 海量交易记录查询系统的设计与实现

4.1系统需求

4.2系统设计

4.3系统实现

4.4本章小结

第五章 海量交易记录查询系统测试与分析

5.1测试目的

5.2测试环境

5.3测试及分析

5.4 TSS子系统测试及分析

5.5本章小结

第六章 总结与展望

6.1总结

6.2展望

参考文献

致谢