首页> 外国专利> Word segmentation method and system for language text

Word segmentation method and system for language text

机译:语言文字的分词方法及系统

摘要

A word segmentation method and system for a language text, where in the method, a word segmentation is performed on the first language text in a first word segmentation manner to obtain a first word boundary set, the first word boundary set is divided into a trusted second word boundary set and an untrusted third word boundary set according to a confidence level threshold, a second language text is selected from the first language text according to the third word boundary set, and a word segmentation is performed on the second language text in a second word segmentation manner to obtain a fourth word boundary set. Word segmentation precision of the first language text can be flexibly adjusted by adjusting the confidence level threshold.
机译:一种语言文本的分词方法及系统,其中,以第一分词的方式对所述第一语言文本进行分词,得到第一词边界集,将所述第一词边界集划分为可信根据置信水平阈值对第二语言边界集和不信任的第三语言边界集进行设置,根据第三语言边界集从第一语言文本中选择第二语言文本,并对第二语言文本中的单词进行切分第二分词方式,得到第四词边界集。可以通过调整置信度阈值来灵活地调整第一语言文本的分词精度。

著录项

  • 公开/公告号US10691890B2

    专利类型

  • 公开/公告日2020-06-23

    原文格式PDF

  • 申请/专利权人 HUAWEI TECHNOLOGIES CO. LTD.;

    申请/专利号US201816134393

  • 发明设计人 XIAO CHEN;HANG LI;

    申请日2018-09-18

  • 分类号G06F17/27;G06F17/28;G06F40/284;G06F40/53;

  • 国家 US

  • 入库时间 2022-08-21 11:31:08

相似文献

  • 专利
  • 外文文献
  • 中文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号