主机日志分析及数据挖掘在检测系统中的应用

摘要

本文提出一种应用数据挖掘提出的智能型主机检测系统，该系统的特点和创新性主要体现在以下几个方面。首先，比较详细地分析了各类日志格式、存放位置等，该系统支持多种操作系统，不但可采集Windows系列的主机日志，也可采集Linux或UNIX日志等。 然后，设计一种中间数据结构，对采集到的日志文件进行格式化处理，这样可以方便查询日志，也简化了数据挖掘时数据预处理的过程。 最后，由于日志检测系统采集的大量日志数据中隐藏着丰富的信息，为了更好的利用这些数据，作者将数据挖掘技术中的关联算法和聚类算法引入到检测系统中。该系统采用多种数据挖掘算法，可以从大量初始日志数据中提取出一些正常行为特征用以构建初始数据库，然后用另一些算法把新数据和原规则库进行一定程度上的融合，使得该系统能够自适应的进行模式库的更新，使其成为一个智能型的系统。