基于开源大数据对时间敏感数据的存储和近实时查询方法

摘要

本发明公开了一种基于开源大数据对时间敏感数据的存储和近实时查询方法，包括如下步骤：建立近实时查询处理平台，近实时查询处理平台具有内存空间和外存空间；定义文件存储策略，对内存空间中的源数据文件进行数据处理与计算，使源数据文件依照其时间敏感特性进行整理后存入外存空间；以数据文件的时间敏感特性作为过滤条件进行倒排索引，建立点索引以及范围索引生成索引信息，将索引信息存入外存空间，并缓存至内存空间；通过查询索引信息查找点索引或者范围索引，获取相关文件路径列表，根据文件路径列表读取与查询请求对应的源数据文件，通过充分结合时间敏感的特性，设计数据过滤策略以减少数据扫描量，实现大数据的近实时查询反馈。