应用支持向量机进行中文分词

摘要

本文首次使用SVM方法来完成中文分词的任务,使用上下文窗体属性和基于规则的属性对样本进行刻画.在实验中我们发现上下文窗体的长度及多项式核函数的参数d对实验性能影响很大.选取较多的上下文信息并不能使分类效果提高,在一定程度上还会影响分类性能:同样,设定不同的多项式核函数参数d一样会影响分类效果.通过不断调整上下文窗体的宽度及多项式核函数的参数d我们最终取得了很好的实验结果.