一种基于Hadoop平台的物联网日志处理方法和装置

摘要

本发明提供一种基于Hadoop平台的物联网日志处理方法和装置，以提高系统输出的日志的可分析性，并满足业务报表的周期性输出需求。所述方法包括：配置物联网日志的日志格式并按照配置的日志格式采集物联网日志；将采集到的物联网日志按照类别标识字符串标识的类别进行分类聚合并将分类聚合后的物联网日志的存储路径记录至日志备忘表；定时更新日志备忘表或将分类聚合后的物联网日志中需要形成数据报表的物联网日志加载至hive表的日期分区。本发明提供的技术方案使得输出的日志的可分析性显著增强，能够满足需要周期性输出分析结果的业务的需求。