探討聲學模型的合併技術與半監督鑑別式訓練於會議語音辨識之研究

摘要

近年來鑑別式訓練（Discriminative training)的目標函數Lattice-free Maximum mutual information (LF-MMI)在自動語音辨識(Automatic speech recognition, ASR)上取得了重大 的突破，有別於傳統交互熵訓練（Cross-Entropy training, CE)和鑑別式訓練 (Discriminative training)的二階段訓練,LF-MMI提供更快的訓練與解碼。儘管LF-MMI 在監督式環境下斬獲最好的成果，然而在半監督式環境的表現仍有待研究。在半監督式 環境最常見的訓練方法是自我學習(Self-training)[2][3][4]中,由於種子模型(Seed model) 常因語料有限而效果不佳。且LF-MMI屬於鑑別式訓練之故，更易受到標記錯誤的影 響。為了減緩上述的問題,過往常加入置信度過濾器(Confidence-based filter)對 訓練語料做挑選。過濾語料可在不同層級上進行，分為音框層級、詞層級、句子 層級。 本論文利用兩種思路於半監督式訓練。其一，引入負條件熵(Negative conditional entropy, NCE)權重與詞圖(Lattice)'前者是最小化詞圖路徑的條件熵(Conditional entropy)，等同 對MMI的參考轉錄(Reference transcript)做權重平均'權重的改變能自然地加入MMI 訓練中，並同時對不確定性建模。其目的希望無置信度過濾器(Confidence-based filter) 也可訓練模型。後者加入詞圖，比起過往的one-best ，可保留更多假說空間，提升找到 參考轉錄(Reference transcript)的可能性；其二 ,我們借鑒整體學習(Ensemble learning) 的概念[10]，使用弱學習器(Weak learner)修正彼此的錯誤，分為音框層級合併 (Frame-level combination)[11]和假說層級合併(Hypothesis-level combination)[12]。 本論文的實作目的便是在語料缺乏的半監督式環境下，利用負條件熵與詞圖輔助 LF-MMI的訓練，並利用模型合併技術，進一步提升模型的辨識結果。我們希望即使在 語料不足的情況下，仍能達到不錯的辨識效果，甚至媲美原先有標記語料的訓練結果。 實驗結果顯示，加入NCE與詞圖皆能降低詞錯誤率(Word error rate, WER)，而模型合併 (Model combination)則能在各個階段顯著提升效能，且兩者結合可使詞修復率(Word recovery rate, WRR)達到60.8% 。