彝文网页敏感信息监测系统的研究

摘要

为解决互联网上彝文内容安全的问题，提出了一种互联网彝文内容安全检测过滤系统。通过对彝文字词组合形式和基本特点的深入研究，主要包括彝文的预处理、彝文字词的分解、词条的的字典排序、字词的频度统计等。本文还对安全检测过滤系统的框架进行了描述，并针对彝文编码、彝文分词方法等问题进行了讨论，提出了彝文编码的判定转换方法以及格语法与词典相结合的彝文分词方法。