一种基于Elasticsearch的Hive二级全文索引技术方法及系统

摘要

本发明公开了一种基于Elasticsearch的Hive二级全文索引技术方法及系统，属于数据全文索引技术领域；所述的方法具体步骤包括：S1通过CREATE FULL INDEX对Hive原始数据表创建全文索引表；S2将原始表INSERT、UPDATE、DELETE与ES中的全文索引表同步操作；S3使用全文索引条件查询原始表；S4删除全文索引；S5删除原始表；本二级全文索引方案可达到其发明目的所阐述的效果，可应用于全文索引需求较强的场景，如日志存储系统、个人信息融合系统等；基于事务日志技术确保原始表和索引表的数据强一致性，可使其更加可靠。同时Hive和ES均为高可用系统，使之在整体上高可用；同时这一技术方法也将Hadoop生态和Elastic软件栈进行深度融合，这一是较大突破。