一种基于块的自注意力实时端到端语音翻译方法

摘要

本发明公开一种基于块的自注意力实时端到端语音翻译方法，步骤为：预处理录制好的音频文件训练数据，将每条语音的ID及其存储的路径和对应的目标语文本进行映射，构建两个映射文件；分别提取音频的梅尔滤波器组和梅尔频率倒谱系数两种声学特征；利用训练数据构建目标语词典，用于解码时生成目标语文本序列；对训练数据进行清洗，并转换为端到端语音翻译模型需要的格式文件；初始化端到端语音翻译模型，用特定格式的数据文件进行训练；在推断阶段，设置块的大小，使用训练完成的端到端语音翻译模型对源语音进行动态编码，实现实时生成目标语句子。本发明使模型具备实时进行语音翻译的能力，在模型性能没有下降的情况下，提高了模型的解码速度。