音频数据的预训练、模型训练方法、装置、设备及介质

摘要

本申请提供一种音频数据的预训练、模型训练方法、装置、设备及介质，涉及音频处理技术领域。该方法包括：预训练模型包括：掩码层、第一编码层以及第一前馈层，所述方法包括：采用所述掩码层，对样本音频数据进行掩码处理，得到掩码声学特征；采用所述第一编码层对所述掩码声学特征进行所述第一编码层对应音频任务的编码处理；采用所述第一前馈层对所述编码处理后的声学特征进行掩码重构处理，得到重构预测结果；根据所述重构预测结果，对所述掩码层的掩码参数进行更新，得到目标预训练模型。相对于现有技术，避免了由于样本音频数据质量不高等问题，导致学习到的音频表示的鲁棒性不足的问题。