一种针对海量非结构化数据的资源管理方法

摘要

本发明提供一种针对海量非结构化数据的资源管理方法，包括：步骤a：根据非结构化数据文件的大小确定其存储方式，将文件存储在HDFS上或HBase数据库中；步骤b：将数据的元数据信息都存储在HBase中，并根据元数据的主题、标签等信息建立元数据的索引表，加快查询速度；步骤c：查询元数据时，可以根据要查找的元数据的主题或标签对元数据索引表进行查找，快速定位数据表；以及步骤d：查询非结构化数据记录时，需要根据数据索引表的命名规则找到数据表对应的数据索引表，之后在数据索引表中查找数据的语义标签，找到所要查找的数据记录主键，然后根据主键在数据表中快速定位数据。本发明方法能够对海量非结构化数据进行有效组织和管理，能够进行快速、高效地查询。