一种面向子词切分的BPE-Learn加速方法

摘要

本发明公开一种面向子词切分的BPE‑Learn加速方法，步骤为：读入训练数据，统计每个词在语料中出现的次数，记为词汇表；将词汇表切分成N份子表；子进程中以字符为单位作为字节对统计的基本单元；多个子进程同时开始统计各自子表中的字节对，并通过通讯队列告知主进程统计结束；主进程读取临时文件汇总每个子进程的统计结果，挑选频次最高的字节对，保存到文件中，同时进行剪枝；子进程等待接收主进程信号，对不切分字节对频次置零，重新统计并更新来源词的字节对频次返还给主进程；主进程保存的文件中的字节对满足数量要求时结束统计。本发明缩短了训练前子词切分中的字节对统计时间，在神经机器翻译模型训练中，提高了GPU使用率。