DHTnil垃圾邮件过滤系统的改进方法研究

摘要

随着互联网的高速发展，电子邮件对人们的日常生活越来越重要，但是与此同时垃圾邮件的危害也越来越严重。在多种垃圾邮件过滤技术中，分布式垃圾邮件过滤技术有着很好的可扩展性，具有很高的垃圾邮件识别能力，是垃圾邮件过滤技术新的发展方向。
　　 DHTnil系统是一种基于Nilsimsa摘要算法的分布式垃圾邮件过滤技术，它有着很好的可扩展性，负载均衡性以及健壮性，但是DHTnil系统中仍有很多可以改进的空间。本文结合了DHTnil系统中节点相对稳定的特性，提出了一种基于cache的DHTnil-Chord路由算法，在很大程度上改善了系统的整体路由效率。在节点数目为3000时，系统的整体路由效率提升了9.66％。在垃圾邮件泛滥这一特殊时刻，DHTnil系统的路由效率同样有很好的表现。
　　 同时，本文提出在DHTnil系统中引入Vivaldi网络预测技术。在Vivaldi坐标系统中，每一个节点都有一个网络坐标，可以通过坐标比较精确的预测节点之间的距离，而且需要传递的坐标信息都附着在正常的通信中，不会有过多的额外消耗。在此基础之上，本文提出了Vivaldi摘要发布和查询策略：节点在发布和查询摘要的时候，在摘要距离相等的前提下优先选择物理距离更近的节点，这样可以提高摘要的发布和查询效率。模拟实验中显示，Vivaldi摘要发布策略在节点发布1000个摘要时效率提升了5.32%，Vivaldi查询策略将查询效率提升了大约5.17%左右。另外，本文又提出了改进的Vivaldi数据备份和恢复策略，将节点中的有效数据备份到离自身物理距离最近的两个节点上，减少了数据备份传输消耗和节省了系统带宽。在备份和恢复的数据大小为80KB的时候，效率提升了约8.31%。
　　 本文中通过进行模拟实验，充分地证明了DHTnil-Chord路由算法，以及改进的摘要发布查询策略和数据备份恢复策略的有效性。