校园网有害信息监测系统设计与实现

摘要

本论文在现有搜索引擎核心技术进行研究的基础上，设计实现了校内搜索引擎系统暨一种基于搜索引擎采用主动扫描探测方法进行校园网有害信息监控的校园网有害信息监控系统。
　　通过调研分析各大搜索引擎的工作原理，研究网络蜘蛛技术实现的功能、原理及搜索策略，基于JAVA语言及Oracle数据库，采用网络编程技术(分析HTTP1.1协议、Socket连接)、数据库技术(JDBC连接、BOLB字段处理等)及多线程技术，设计并实现了网络蜘蛛部分，可对指定域的网站进行抓取和网页分析，实现了对htm、html、asp、php、jsp等类型网页的自动抓取，并将网页数据存储到本地数据库中，为搜索引擎提供数据基础。
　　研究中文分词算法，通过比较分析，采用逆向最大匹配和二级哈希散列算法，实现中文分词，对网页数据库中网页进行分词并建立索引库。
　　基于J2EE架构，采用数据库编程技术、web编程技术，以网页数据库及索引库为数据基础，开发了基于web的搜索引擎系统。
　　以搜索引擎系统为基础，建立了包括非法web服务网站扫描、有害信息监测、后台智能启动、有害词库管理、站点管理、重大事件管理、用户管理、系统管理等模块的有害信息监测系统，可定时对所有站点或指定站点进行搜索，并将搜索到的有害信息发送到指定邮箱报告管理员或在管理平台中列出所有当前搜索到的有害信息，起到有效的有害信息预警作用；同时实现对有害信息的管理，对有害信息进行分类(政治、色情、暴力等)；将重大违规事件存入数据库；结合域名管理，找到有害信息来源网站的责任人，提高了校园网安全管理能力。