短信文本模版的识别方法

摘要

本发明涉及文本审核技术领域,尤其是一种短信文本模版的识别方法，包括下述步骤：S1.取出需要去重的短信文本；S2.检测短信文本的字符集是否含有网址信息，若字符集中包含网址信息通过正则表达式识别并删除；S3.命名实体识别器识别短信文本中剩余的字符串；S4.删除命名实体器识别出的实体字符集；S5.检测短信文本的字符集是否有标点符号或者特殊字符。本发明不用设置匹配阀值和相似度阀值来判断文本是否属于同一个模版，从而不存在一个固定阀值应用所有文本模版；本发明是对文本字符集的完整比较，先比较字符集大小与再比较文本字符的顺序，所以该发明准确率高；本发明适用于所有通过模版生成的文本的去重功能。