一种基于模式拓展的通用特殊词识别方法及系统

摘要

本发明提出一种基于模式拓展的通用特殊词识别方法及系统，提出了一种基于基础词的音形编码，常用汉字音节，常用汉字结构以及特殊字符映射节点来构建前缀树，通过比较字符编码相似度进行模糊匹配，完成新词提取的方法及系统。本发明可以应用于大量文本中特定词的发现提取，某些任务的数据集的提取生成，给定文本数据集的预处理等场景中，比如短信、微博等数据集的筛选以及纠正等文本预处理过程。本发明为下一步的文本分类任务提供了数据来源和基本标注，也对文本数据中新词的发现和纠正提供了帮助。