可扩展通用反垃圾信息处理平台的设计与实现

摘要

用户产生内容(User Generate Content，UGC)类产品由于其内容自发性和广泛庞大的用户数目而不可避免的成为了淫秽色情、政治敏感、诈骗广告等垃圾信息的重灾区。这不仅仅破坏了用户体验，更严重侵蚀了社会安定和人民健康。尽管各公司对此纷纷构建自己的解决方案，但由于各自为政、受成本和技术的制约，所以不仅力不从心，还造成了资源的极大浪费。可以说，市场和社会都迫切需要更专业强大的反垃圾解决方案。
　　本论文面向UGC类产品，运用先进的敏捷开发模式、应用多种第三方的开源技术和中间件，设计并实现了一个允许多用户同时接入的反垃圾信息处理平台。主要内容和成果概述如下:
　　1.分析并设计了平台功能需求，以及基于可扩展性、通用性和平台性的性能需求。
　　2.设计了具有人工审核、离线和在线机器审核等功能，基于Http协议的分布式反垃圾信息处理平台软件架构和平台网络接口。
　　3.设计实现了基于关键字匹配、高频行为规则识别的垃圾识别技术的业务流程定义，具备“热插拔”能力的组件设计，以及用于垃圾聚类的最小化局部边际的合并聚类算法。
　　4.测试。通过接入UGC类产品“同城约会”，对本平台的主要业务功能进行测试。通过接入20个UGC类产品（总QPS约5-6万），借助服务器监控系统对平台的的平台性进行测试。通过对关键字匹配和高频规则的“热插拔”能力测试了平台的通用可扩展性。测试结果表明，业务功能运行准确，在线业务响应速度在220ms以内，并且展现了良好的通用可扩展以及平台性能。
　　本文的反垃圾平台开发设计和实现遵循服务化、异步化思想，基于此的测试表明本文的反垃圾平台良好完整实现了需求，是具备平台性、通用性和可扩展性的良好反垃圾解决方案。

目录

声明

摘要

术语

第一章 绪论

1．1 课题研究背景

1．2 国内外研究现状

1．3 研究内容与目标

1．4 论文结构

第二章 反垃圾平台开发准备工作和总体需求分析

2．1 平台开发模式、基础、环境、框架和工具介绍

2．2 平台总体需求分析

2．3 开发相关规范设计

2．3．1 表查询规范

2．3．2 表查询实体的设计

2．3．3 绑定注册式代码复用模型

2．3．4 生产消费者复用模型

2．4 本章小结

第三章 反垃圾平台架构设计

3．1 平台硬件架构和解决方案设计

3．1．1 数据库解决方案

3．1．2 缓存解决方案

3．1．4 应用服务器架构设计

3．2 平台软件架构和解决方案设计

3．2．1 原型案例研究分析

3．2．2 平台软件架构设计

3．2．3 平台模块应用类型设计

3．3 平台接口设计

3．3．1 平台接口技术方案

3．3．2 平台接口设计方案

3．4 本章小结

第四章 反垃圾平台各模块的设计与实现

4．1 反垃圾识别技术服务的设计

4．1．1 关键字匹配子模块的设计与实现

4．1．2 高频规则子模块的设计与实现

4．1．3 垃圾聚类子模块中聚类算法的提出

4．2 在线审核模块的设计与实现

4．2．1 模块的设计和实现

4．2．2 在线审核Checker链数据传动的具体实现

4．3 离线审核模块的设计与实现

4．3．1 模块的设计和实现

4．3．2 离线审核Checker链数据传动的具体实现

4．4 人工审核和管理模块的设计与实现

4．4．1 用户管理子系统的设计和实现

4．4．2 页面模板的接入和设计

4．5 定时回调和统计模块的设计与实现

4．5．1 模块的设计和实现

4．5．2 定时机制的实现

4．5．3 过期数据定时删除机制的设计与实现

4．5．4 多任务阻塞式同步复用模型

4．6 持久化模块的设计与实现

4．6．1 模块设计和实现

4．6．2 数据库表数据缓存机制

4．7 本章小结

5．1 测试说明

5．2 业务功能测试

5．2．1 测试用例说明

5．2．2 关键词匹配和在线审核功能测试

5．2．3 高频规则、离线审核和定时回调功能测试

5．2．4 人工审核和管理模块功能测试

5．2．4 定时统计功能测试

5．3 性能测试

5．3．1 平台性测试

5．3．2 通用可扩展性测试

5．4 测试结论

5．5 本章小结

第六章 总结

致谢

参考文献

攻读硕士期间学术成果