基于机器学习方法与搜索引擎验证的缩略语预测

摘要

缩略语在自然语言中被大量应用，是未登录新词的一大“贡献者”，给自然语言处理带来了诸多困难。在汉语分词、词性标注、命名实体识别、机器翻译和信息检索等领域都受到了缩略语问题的干扰。大规模的完整形式与缩略语对照库是解决上述问题的重要资源。从完整形式出发推导缩略形式是构建对照库的途径之一。这一过程也称为缩略语预测。在自然语言中广泛使用的缩略语是重要的新词来源之一,成为了自然语言处理的一大问题.本文研究了从完整形式预测缩略语形式的方法.首先,使用CRF模型对完整形式预测,形成一定量的缩略候选,再利用搜索引擎得到的结果信息对各候选依次评估,通过打分和重排序,选择最终缩略结果.实验结果表明,增加网络信息之后,预测的缩略语准确率(top-1)可以提高5个百分点。