中間出力も用いた知識蒸留によるコンパクト音響モデルの構築

摘要

本研究ではKD を応用したコンパクトなDNN 音響モデルを構築するための学習手法を提案した．具体的には，従来のKD では教師モデルの出力のみを模倣する学習手法であったが，提案手法は従来のKDに加えて中間層の出力もMSE 損失によって同時に模倣する学習手法である．実験は，100 時間と16000 時間の日本語の実収録音声データを用いて音響モデルを構築し，デコード時にはローカルデバイスを想定してRaspberry Pi 3 Model B を用いた．実験結果から提案手法によって構築した音響モデルの認識性能は正解ラベルや従来のKD によって構築した音響モデルの性能よりも改善したことを示した．