开源中文分词器在web搜索引擎中的应用

摘要

目前,在信息检索方面,一般分词器对英文的支持相对较好,但对中文分词效果不太理想；随着web搜索在互联网中的广泛应用,中文分词器也出现了突飞猛进的发展,尤其以IKAnalyzer分词器为主的分词工具,为更多企事业单位所采纳.本文主要在词条化等方面对分词原理进行深入的分析,并且对如何构造智能分词词典进行了探讨.同时,对分词内部结构进行研究,在分词数目和速率方面对目前主流的中文分词器进行了比较,并运用htmlparser库对北京邮电大学的网站进行解析,采用分词工具Paoding Analysis建立索引文件存入本地,利用solr4.0全文搜索服务器给出运用中文分词后的查询效果图,实现对北京邮电大学网站的全文搜索功能.