基于免疫克隆选择的垃圾网页检测技术研究

摘要

垃圾网页是指一些网页通过不正当的手段来误导搜索引擎，使网页获得高于其应有的排名，从而获得更多的访问量，而它自身的质量并没有提高。垃圾网页的出现破坏了搜索引擎排名的公正性，损害了用户的搜索体验，更为Web信息带来严重的安全隐患。如何有效地检测出垃圾网页，保障用户的合法权益，成为搜索引擎面临的巨大挑战之一。因此，研究有效的垃圾网页的检测技术具有重要的意义及应用价值。
　　本文首先介绍了搜索引擎对网页排序的原理，分析了垃圾网页的采用的作弊技术的类型及其原理与特点，描述了相应的垃圾网页的检测技术及研究现状。接着介绍了人工免疫系统的原理及常用算法，以及人工免疫系统的特点，重点分析了基于免疫克隆选择的分类算法，这是一种新兴的机器学习方法，在解决分类问题上非常有效。本文利用免疫克隆选择来检测垃圾网页，为垃圾网页的检测提供了一种新的研究方法和技术。
　　然后设计了基于免疫克隆选择算法的垃圾网页检测系统框架，免疫克隆选择算法是人工免疫系统中常用的算法，具有自学习、自适应及区分自我与非我等能力，在本文中使用基于免疫克隆选择的算法来检测垃圾网页，同时加入特征选择以去掉冗余和无效的特征来提高检测效率及实用性。通过在数据集WEBSPAM-UK2006上的实验，分析验证了算法在对不平衡数据集分类时的不足，通过加入抗体抑制机制并控制不同类别的抗体数目来改进了免疫克隆选择分类算法，使之在数据集不平衡的情况下也能有很好的检测效果。并通过实验验证及与其他算法的实验对比，表明本文的基于改进免疫克隆选择算法的垃圾网页检测方法在数据集不平衡时对垃圾网页也有非常好的检测效果。
　　最后通过使用集成学习的方法，进一步提升了算法的性能，通过实验验证使用Bagging集成方法构造的基于改进免疫克隆选择的组合分类器在对Spam检测及Normal检测的各项指标均有提高，比使用单一的基于改进免疫克隆选择的分类器取得了更好的检测效果。

目录

声明

摘要

第1章 绪论

1．1 研究背景和意义

1．2 研究现状

1．2．1 搜索引擎排序算法

1．2．2 垃圾网页分类

1．2．3 垃圾网页检测技术

1．3 研究内容

1．4 论文的结构安排

第2章 相关知识与研究

2．1 人工免疫系统的背景及相关概念

2．1．1 人工免疫系统的产生和发展

2．1．2 人工免疫系统的相关概念

2．1．3 人工免疫系统的仿生机理

2．2 人工免疫系统常用算法

2．2．1 一般免疫算法

2．2．2 阴性选择算法

2．2．3 克隆选择算法

2．3 人工免疫系统的特点

2．4 数据集WEBSPAM-UK2006

2．5 不平衡数据集的分类问题

2．6 评价指标

2．7 本章小结

第3章 基于免疫克隆选择的垃圾网页检测

3．1 引言

3．2 基于免疫克隆选择的垃圾网页检测框架

3．3 特征选择

3．3．1 基于x2的特征选择

3．3．2 基于信息增益的特征选择

3．4 样本及个体的表示

3．5 形态空间与亲和力函数

3．6 适应度函数

3．7 克隆算子与变异算子

3．8 克隆选择分类算法

3．8．1 克隆选择分类算法描述

3．8．2 克隆选择分类算法分析

3．9 基于免疫克隆选择的垃圾网页检测

3．10 算法的性能评价

3．10．1 不平衡数据集上的实验

3．10．2 平衡数据集上的实验

3．11 本章小结

第4章 基于改进免疫克隆选择的垃圾网页检测

4．1 引言

4．2 改进的克隆选择分类算法

4．2．1 CSCA算法的不足

4．2．2 改进的克隆选择分类算法描述

4．3 基于改进的克隆选择分类算法的垃圾网页检测

4．3．1 算法流程

4．3．2 算法描述

4．4 实验与分析

4．4．1 实验参数设置

4．4．2 实验一

4．4．3 实验二

4．4．4 实验三

4．4．5 实验四

4．4．6 结果讨论

4．5 本章小结

第5章 利用免疫克隆选择的集成学习方法检测垃圾网页

5．1 引言

5．2 集成学习

5．3 利用Bagging方法构建组合分类器

5．3．1 处理流程

5．3．2 算法描述

5．4 利用Bagging方法集成免疫克隆选择分类器检测垃圾网页检测框架

5．5 实验与分析

5．6 本章小结

总结与展望

总结

下一步工作

致谢

参考文献

攻读硕士学位期间发表的论文