一种海量非结构化数据处理方法和装置

摘要

本发明提供一种海量非结构化数据处理方法及装置，属于数据处理技术领域。本发明的海量非结构化数据处理方法包括对海量非结构化数据进行清理得到标准格式的数据文件；批量上传所述标准格式的数据文件到分布式存储平台；创建一个或多个索引存储所述标准格式的数据文件；根据所述索引在分布式存储平台上进行分布式数据查询。本发明的一种海量非结构化数据处理方法和装置可实现海量非结构化数据的快速查询。