海关数据产品词的提取方法及检索方法

摘要

本发明提供了一种海关数据产品词的提取方法及检索方法。其中提取方法首先将海关描述文本中的多余部分清理干净，转化成较好处理的形式；接着启发式的找到海关描述文本中的分割词，将产品词和描述部分进行分割；再将文本中的量词和日期正则替换为空格符或删除；然后通过语法规则删除文本中的描述部分，或使用互信息和左右信息熵对数据进行产品词组的提取，得到单词数≤5产品词组作为产品词加入词库。检索方法是首先对待检索文本进行分词，然后采用bit map或hash map结构在构建的词库中进行检索。本发明结合了语法结构、互信息、字符信息和海关数据特有的结构信息，可以充分结合各种信息的优势，准确提取和检索出产品词。