一种基于词网络的偶发敏感词发现方法

摘要

一种基于词网络的偶发敏感词发现方法，借助互联网公开文本数据或者其他渠道获取的互联网文本信息，以及对应的文本语言设置和发文具体时间；提取文本，以时间粒度（一般设定为1天）为单位进行时间划分，结合既有的常见敏感词词典筛选特定语言的敏感文本，按照文本中标点符号的位置切割得到若干短文本，对短文本进行分词处理；以短文本为基础构建词网络，计算词网络的最大K‑core值，以及网络中每个单词的K‑core值和核心系数；对选定的核心词，提取该核心词在指定历史时期（一般设定为30天）内处于核心位置的次数，以及在指定历史时期内不处于核心位置的时间段的平均核心系数，最后利用检测公式发现词网络中的偶发敏感词。