一种基于hadoop的通用创建索引方法及系统

摘要

本发明提供了一种基于hadoop的创建索引的方法，包括业务端服务将待索引数据载入HDFS文件系统，根据对所述数据和索引方式的配置，在该系统中分布式创建索引，具体包括以下步骤：检索和存储数据；配置和数据路径指定；导入配置索引配置文件和数据解析格式；分布式读取数据和写入索引；合并索引。本发明改进了创建索引过程中读取数据和创建索引的速度，并且不需要单独部署服务和单独开发索引。