一种Hive分区表数据清理方法、装置及存储介质

摘要

本公开提供了一种Hive分区表数据清理方法、装置及存储介质，用于解决Hive中分区表无法根据存活时间来自动清理的技术问题。本公开的技术方案中，在元数据服务中新增用于数据存活时间控制的表级存活时间表和区级存活时间表，由清理守护线程周期扫描这两个表，通过调用分布式文件系统判断业务数据文件是否已超过表中所设定的存活时间来进行过期数据清理，相应地本公开还改进了SQL中的创建、修改等表结构控制语句，新增了存活时间属性。通过本公开可实现Hive中表或分区级别的数据清理，能够及时有效的删除冷数据，减少存储资源的占用，提高了系统维护效率，降低了维护成本。