一种基于文本相似度的日志聚类分类技术

摘要

本发明是一种通过分析日志文件结构，提纯日志信息，计算两条日志间的相似度，最终实现日志信息聚类分类的技术。解决了日志文件杂乱无章、只记录不处理的缺点，通过本技术，不仅能将原本混乱的日志信息变得井井有条，压缩日志量，还能为后续处理提供策略支持。本发明自研了两套处理日志的流程：日志聚类技术、日志分类技术，创造了两个核心算法：基于向量余弦和并集的文本相似度算法、模视窗快速检索算法。用户只需要根据自己的日志结构，修改一下提纯信息的正则表达式，就能实现聚类分类的全自动处理。本发明可并行处理聚类分类任务，处理能力强，能满足大规模日志分析的需要。本发明部署简单方便，可嵌入到网络安全等系统内，也可以单独使用。