非结构化数据处理系统的设计与实现研究

摘要

为了有效提高非结构化数据处理的效率,本研究围绕MapReduce框架、Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)、Hadoop数据库(Hadoop Database,HBase)技术展开了深入研究,并在此基础上设计并实现了一个非结构化数据处理系统,针对系统的小文件存储性能优化和HBase数据存储优化提出了相应的解决方案,极大地改善了非结构化数据的处理效率,为相关领域研究提供了一定的参考价值。