基于网络爬虫的WEB漏洞扫描系统的开发

摘要

随着WEB应用的迅速推广和普及，WEB应用程序的安全问题已经受到越来越多的人们的关注。据Gartner调查，75％以上的互联网攻击和网络安全事故，主要是利用WEB应用程序漏洞而发生的。根据2013年OWASP发布的WEB应用十大关键风险中，SQL注入和XSS漏洞依然高居首位。如何高效准确的扫描这两种高危漏洞，目前是人们研究的热点。
　　针对WEB存在SQL注入和XSS漏洞，本文开发了WEB漏洞扫描系统，论文主要工作包括：
　　(1)基于WER应用漏洞扫描的原理和方法，分析了当前主流的同类系统或工具存在的若干问题。
　　(2)研究了WEB应用漏洞中的XSS及SQL注入漏洞，即漏洞产生原因和危害及漏洞扫描方法．
　　(3)设计了展性能良好的WEB应用漏洞扫描的系统架构及功能。
　　(4)基于网络爬虫技术，通过开源项目HttpClient来采集WEB页面，应用正则表达式来提取匹配WEB应用程序中的URL，采用Berkeley DB数据库技术，很好的解决了传统URL去重方法中存在的问题，并有效获取了漏洞扫描所需的相关信息。
　　(5)针对XSS及SQL注入漏洞，设计与实现了基于网络爬虫的WEB漏洞扫描系统。
　　通过设计本文设计的测试方案，完成了功能测试、性能测试以及扫描准确性分析测试，测试结果表明，本系统对于XSS和SQL注入漏洞的识别与同类其它工其或系统对这两种漏洞的识别相比，本文开发的系统较好的解决了XSS及SQL注入漏洞检测的有效性和准确性。因此本文开发的系统在WEB漏洞扫描网络安全领域中有一定的理论和实用价值。

目录

封面

声明

中文摘要

英文摘要

目录

1 前言

1.1课题的研究背景及意义

1.2 课题的国内外研究现状

1.3 研究内容与目的

1.4论文组织结构

1.5 本章小结

2 WEB中的XSS及SQL注入漏洞分析

2.1 WEB安全漏洞

2.2漏洞扫描技术

2.3 XSS

2.4 SQL注入

2.5 本章小结

3 系统设计

3.1 系统整体架构及功能

3.2系统配置模块

3.3网络爬虫模块

3.4 漏洞扫描模块

3.5 数据存储及数据库表

3.6 本章小结

4 系统实现

4.1 系统配置模块的实现

4.2网络爬虫模块的实现

4.3 漏洞扫描模块的实现

4.4 数据库接口模块实现

4.5本章小结

5 系统测试

5.1 系统功能测试

5.2 系统扫描准确性测试

5.3 系统性能测试

5.4 本章小结

6 总结与展望

6.1工作总结

6.2 展望

致谢

参考文献

附录