一种快速数据分析而生文本格式的方法

摘要

本发明提供一种快速数据分析而生文本格式的方法。本发明包括（1）对每列的取值进行Hash；（2）进行MDK排序；（3）文件级别Blocklet索引；（4）建立用于过滤的内存中的文件级别MDK索引，为高效扫描做的主要优化；（5）倒排索引：在column chunk选择性的将列数据存储为倒排索引，取值种类少的列压缩效果更加好利于快速判断过滤。本发明能够实现多种数据访问类型的低延迟，允许压缩编码过数据上的快速查询，确保空间高效性Hadoop生态系统上可行的通用格式读最优化的列式存储。