Web日志攻击序列模式挖掘的研究

摘要

Web应用已经渗透到了人们的日常生活中，用户与Web应用程序的交互一般是通过Web服务器来实现的。Web日志作为Web服务器最重要的一个部分，记录了Web服务器的运行状况以及客户端对服务器的请求信息。Web日志中包含大量普通用户的浏览信息，同时恶意用户的请求信息也被记录在日志中。分析Web日志信息，在经营层面上，有利于了解网站的运行情况，在安全层面上，通过对恶意用户的操作记录进行分析，有利于探索攻击行为，增强网站的防护。然而通常对Web日志的分析更倾向于挖掘普通用户的需求，提高用户体验，改善站点结构。另一方面，在安全层面上很少会使用挖掘技术对日志中的攻击行为进行研究。本文探索一种对日志中的攻击数据进行挖掘的方法，期望通过对日志中攻击数据的挖掘，发现攻击者对网站的攻击路径，更加轻易的发现网站中存在的漏洞。
　　本文提出了一种从Web日志中挖掘攻击频繁序列模式的方法，使用改进的PrefixSpan算法，对日志中的攻击记录进行挖掘，并将攻击序列以可视化图形的方法展示给用户。通过对挖掘结果的分析，能够帮助管理人员加强网站的防护，发现网站的潜在漏洞，保护网站免受进一步的攻击。本方法的主要步骤包括:在数据预处理阶段，收集日志数据、日志结构信息、网页信息、攻击特征码信息;通过对日志进行数据预处理得到攻击序列数据库，预处理部分包括日志数据清洗、统一资源定位符号(Uniform Resource Locator，URL)清理、用户识别、区分人为攻击和漏洞扫描器攻击和会话识别五个步骤;使用改进的序列模式方法PrefixSpan分别对人为攻击序列数据库和漏洞扫描器攻击序列数据库进行模式挖掘;对挖掘生成的频繁序列进行模式分析并将序列转换为图形语言。
　　本文根据以上步骤在已有的序列模式挖掘算法PrefixSpan上进行改进，并且使用Java语言实现了该方法，通过对实际运行网站中收集的日志数据进行测试实验，完成了对网站攻击者序列模式的挖掘，并生成可视化图形。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 研究背景

1．2 研究动机

1．3 国内外研究现状综述

1．3．1 Web挖掘综述

1．3．2 国外研究综述

1．3．3 国内研究综述

1．4 主要工作

1．4．1 问题的提出

1．4．2 研究目标

1．4．3 本文完成的工作

1．5 本文的组织结构

第2章 背景及相关技术研究

2．1 网络安全现状

2．2 Web应用漏洞

2．2．1 结构化查询语言注入漏洞

2．2．2 跨站脚本漏洞

2．2．3 文件包含漏洞

2．2．4 远程命令执行漏洞

2．2．5 目录遍历漏洞

2．3 网络漏洞防护措施

2．4 本章小结

第3章 Web日志攻击序列模式挖掘的设计

3．1 引言

3．2 数据收集

3．2．1 特征库中攻击特征码的收集

3．2．2 日志和网站结构信息收集

3．3 数据预处理模块

3．3．1 日志解析

3．3．2 日志清洗

3．3．3 URL清理

3．3．4 用户识别

3．3．5 攻击者分类

3．3．6 会话识别

3．4 序列模式挖掘模块

3．5 模式分析模块

3．5．1 序列最大化

3．5．2 图形化

3．6 本章小结

第4章 Web日志攻击序列模式挖掘的系统实现

4．1 引言

4．2 数据预处理模块的详细设计与实现

4．2．1 数据预处理模块设计

4．2．2 算法实现

4．3 序列模式挖掘模块的详细设计与实现

4．3．1 模式挖掘模块设计

4．3．2 算法实现

4．4 模式分析模块的详细设计与实现

4．4．1 模式分析模块设计

4．4．2 算法实现

4．5 本章小结

第5章 系统实验

5．1 引言

5．2 实验环境

5．3 实验

5．3．1 漏洞特征库收集实验

5．3．2 数据清洗功能实验

5．3．3 模式生成实验

5．4 本章小结

结论

参考文献

攻读硕士期间发表学术论文和申请专利目录

攻读硕士期间所参加的科研项目目录

致谢