首页> 中文会议>全国第七届计算语言学联合学术会议 >一种自适应概率语言模型的训练方法及其应用于中文分词

一种自适应概率语言模型的训练方法及其应用于中文分词

页面导航

摘要
著录项
相似文献
相关主题

摘要

本文提出一种自适应的概率语言模型的训练方法,采用EM迭代优化算法在未切分的语料库上训练概率语言模型的参数.本文用该算法训练了中文的基于词的N-gram模型,并应用于概率分词.实验结果显示,该算法能显著地改善汉语分词的精度.

著录项

来源
《全国第七届计算语言学联合学术会议》|2003年|73-78|共6页
会议地点哈尔滨
作者
徐志明; 揭春雨; Jonathan Webster;
展开▼
作者单位

中国中文信息学会;

中国计算机学会;

中国人工智能学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类文字信息处理;应用语言学;
关键词
语言模型; 词网格; EM算法; 概率分词;
入库时间 2022-08-17 11:06:38

相似文献

中文文献
外文文献
专利

1. 一种新的语言模型判别训练方法 [J] . 于浩 ,高剑峰 ,步丰林 . 计算机学报 . 2005,第010期
2. 一种基于N元语法分布的语言模型自适应方法 [J] . 尹继豪 ,姜志国 ,樊孝忠 . 北京航空航天大学学报 . 2008,第011期
3. 一种新的基于主题的语言模型自适应方法 [J] . 任纪生 ,王作英 . 中文信息学报 . 2006,第004期
4. 一种改进的基于记忆的自适应汉语语言模型 [J] . 张俊林 ,孙乐 ,孙玉芳 . 中文信息学报 . 2005,第001期
5. 一种在线递增式语言模型自适应方法 [J] . 吴根清 ,郑方 ,金凌 . 中文信息学报 . 2002,第001期
6. 一种面向统计机器翻译的中文分词自适应方法 [C] . . 第四届全国机器翻译研讨会 . 2008
7. 基于循环神经网络语言模型的中文分词研究 [A] . 刁琦 . 2017

获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

客服微信
服务号