基于BPE编码的序列化方法、训练方法、系统及存储介质

摘要

本发明公开了一种基于BPE编码的序列化方法、系统、装置及存储介质，其中方法包括以下步骤：获取中英混合的标注文本，采用基于BPE编码算法生成的字典将所述标注文本中的中文序列分为多个汉字，以及将所述标注文本中的英文序列拆分为多个字母串；将拆分获得的所述汉字和所述字母串作为标注序列，用于对端到端语音识别模型进行训练；所述字母串中包含有标识符，根据所述标识符将所述字母串合并成英文单词。本发明对于文本中的中文采用字级别的拆分，对于英文按照BPE编码所得字典进行拆分，解决中文字和英文单词发音长度不一致的问题，使得英文子串近似于中文发音长度，提升了端到端语音识别模型的性能，可广泛应用于计算机软件技术领域。