基于统计专用字符的维、哈、柯文文种识别研究

摘要

在Unicode编码方案中维、哈、柯文字符安排在阿拉伯字符区域,三种语言中共享字符比较多,跟阿拉伯字符区域混在一起,没有专用的语言ID.在信息检索和自然语言处理领域对维、哈、柯文的识别、处理带来不便.该文首先分析并总结了维、哈、柯文三种语言中的专用字符、复合字符、某些字符在某种语言中出现形势的独特性等特征,然后在此基础上设计了维、哈、柯文种识别算法.实验结果表明该文提出的文种识别算法的正确率在文本多于70词时达到96.67％以上.