基于spark大数据平台的日志信息类型提取方法、挖掘方法

摘要

本发明涉及计算机信息系统技术领域，公开了基于spark大数据平台的日志信息类型提取方法，包括：预处理离线日志数据，过滤掉不能识别的日志条目，存入HDFS中；将常规变量替换为通配符，同时对日志条目进行规整处理，完成简单的通配化处理，并将通配化处理后的数据临时存入HDFS中；将通配化处理后的数据进行时间根据时间窗进行过滤，将日志数据过滤拆分成有效日志集合和无效日志集合，去重后临时存入HDFS中；用迭代分组挖掘方法，分别计算出有效日志和无效日志的日志信息类型，将结果存入HDFS中。上述方案进行日志的自动化分析处理，有利于数据的恢复和使用，并能够高效准确地识别不同的日志信息类型。同时本发明也公开了时间窗过滤方法和迭代分组挖掘方法。