基于中文子字单元的BPE编码方法及系统、机器翻译系统

摘要

本发明属于计算机软件技术领域，公开了一种基于中文子字单元的BPE编码方法及系统、机器翻译系统，对中文汉字按五笔字根输入汉字的方式进行中文汉字的拆分；对于句子中的单词，先将单词拆解为更小更常见的子字单元；通过翻译子字部分从而将未登录词进行翻译。本发明在进行BPE编码步骤之前，对中文汉字作额外处理。因此，在实际应用中本发明中参数规模和运算时间与目前BPE相当，不会过多增加实用时的复杂度。