一种基于Presto和Alluxio的风险数据查询优化方法和装置

摘要

本发明公开了一种基于Presto和Alluxio的风险数据查询优化方法和装置，包括：基于Presto接收风险数据的查询请求；利用Presto解析目标SQL语句生成查询执行计划，以判断所述目标SQL语句对应的数据分布情况，并将数据需求分发至Alluxio；利用Alluxio判断查询数据是否为热数据，若是则利用本地短路径缓存加载热数据查询，否则利用远程缓存加载冷数据查询；基于热数据或冷数据的加载情况返回数据查询结果。本发明中使用分布式缓存文件系统Alluxio进行数据缓存，可以倍数提升Presto的查询效率，并且通过冷热数据判断，将热点数据直接进行短路径缓存，能够对常用数据表进行更快加载，而且由于冷热数据带入，也无需多节点部署Presto以提升查询效率，也不会导致查询效率降低。