中文文本歧义字段切分技术

摘要

中文文本的自动分词是中文信息处理的瓶颈技术，这一技术中的核心是歧义字段切分问题，它是影响分词系统切分精度的重要因素，也是自动分词系统设计中的一个最困难的问题。当前，国内对歧义字段切分提出了多种方法，取得了一定的成效。但根据权威方面的资料，汉语书面语自动分词软件的歧义字段切分正确率很低,离实际需要的差距还是很大。文章展示了真实文本中获取的翔实语言材料和具体处理难点，在此基础上，全面展示在处理这一技术难题时所采用的技术路线以及取得的阶段性成果。