基于聚合词树匹配的证券信息敏感词过滤系统设计与实现

摘要

证券公司从股票交易的各种通知到对客户的日常关怀，都会产生大量的交互信息，这些信息通常以短信的方式进行推送，在推送给客户之前需要对信息进行敏感词过滤，以避免不良短信大规模下发造成的负面影响。 本文对一种基于聚合词树匹配的敏感词过滤方法进行研究并实现。该方法分为敏感词库初始化与敏感词匹配处理两个阶段。在初始化阶段将敏感词库中的每个词条按照聚合词方式建立词链，多条词链聚合成一棵词树并装载到缓存。敏感词匹配阶段则在完成初始化之后读取待匹配信息，顺序扫描其中的每个字，判断是否匹配敏感词树中的词链，匹配命中后在缓存中进行计数，当计数达到阀值后触发告警。本文将此过滤方法优化后应用于大规模短信处理场景，在敏感词初始化阶段引入多线程处理机制并将聚合词树进行缓存，同时把待过滤的目标短信通过取模进行分块处理并存入缓存中，这样匹配阶段都在内存中执行，获得良好的性能。 在此基础上，本文设计一个基于聚合词树匹配的敏感词过滤系统，并进行了系统需求分析、总体架构设计、数据结构设计等，最后介绍了系统的实现和测试情况。系统应用和测试结果表明，所提出的证券信息敏感词过滤方法能够为券商的IT系统提供一种良好的数据安全预警机制。

目录

声明

摘要

第一章绪论

1．1研究背景与意义

1．2研究现状

1．3本文主要工作

1．4本文组织结构

第二章系统关键技术概述

2．1证券交易系统及应用现状

2．2常见的敏感词匹配方法

2．3多线程处理框架

2．4SPRING BOOT框架

2．5本章小结

第三章系统需求分析

3．1初始化敏感词树

3．2采集目标短信

3．3匹配敏感词

3．4通知告警

3．5后台管理

3．6本章小结

4．1系统总体结构

4．2敏感词过滤功能设计

4．2．1短信数据采集

4．2．2聚合词树匹配算法

4．3后台管理模块设计

4．3．1后台管理模块组成

4．3．2后台管理模块数据库ER图

4．3．3后台管理模块数据库表设计

4．4本章小结

第五章系统实现与测试

5．1系统功能实现说明

5．1．1系统操作流程图

5．1．2系统登录

5．1．3系统功能主页

5．1．4敏感词管理

5．1．5运行参数配置

5．2系统测试

5．2．1功能测试

5．2．2性能测试

5．3应用情况

5．4本章小结

6．1工作成果

6．2工作展望

参考文献

致谢

攻读硕士学位期间发表的学术论文