融合多任務學習類神經網路聲學模型訓練於會議語音辨識之研究.

摘要

語音長久以來一直是人跟人之間最自然的溝通方式；它在未來將是人與電腦等機器間溝 通的一個不可或缺的重要工具。近六十年來，自動語音辨識的研究活動十分活躍，並且 已取得了巨大的成功。在研究初期，語音辨識器只能在安靜的環境中識別一個單獨的詞 彙。1980年代，以高斯混合模型-隱藏式馬可夫模型(Gaussian mixture model-hidden Markov model, GMM-HMM)做為聲學模型使得語音辨識有能力進行大詞彙量連續語音 識別[1]。由於GMM-HMM的架構易於訓練模型和進行聲學解碼，因此在近二十年來 GMM-HMM是自動語音辨識系統的主流聲學模型，聲學模型的研究主要集中在以更好 的模型結構與訓練演算法改良GMM-HMM[1][2][3][4]。在過去的五年内，我們看見了 深層學習架構和技術在語音領域的突破性的發展和卓越的成效[5][6][7]。深層類神經網 路與其變體最终取代了高斯混合模型：時下的混合深層類神經網路-隱藏式馬可夫模型 (hybrid deep neural networks-hidden Markov model, DNN-HMM)已成為大多數自動語音 辨識系統的聲學模型[8][9][10]。雖然自動語音辨識技術已經是一項成熟的技術，但是在 實際應用上仍有許多問題需要被解決。例如使用智慧型手機錄音時往往離手機麥克風較 遠，錄音品質容易受環境影響。此外，現今語音辨識領域也面臨著海量詞彙、自由不受限的任務、吵雜的遠距離語音、自發性的口語及語言混雜情景的挑戰[11]。而會議語音 辨識正涵蓋了上述大部分的困境與挑戰，是一個相當困難的語音辨識任務。因此，本論 文以會議語音辨識的發展為硏究動機，旨在探索如何融合多任務學習(multi-task learning, MTL)技術於聲學模型之參數估測'藉以改善會議語音辨識(meeting speech recognition) 之準確性。我們的貢獻主要有三點：（1)我們進行了實證研究以充分利用各種輔助任務 來加強多任務學習在會議語音辨識的表現。此外，我們還研究多任務與不同聲學模型像 是深層類神經網路(deep neural networks, DNN)聲學模型及摺積神經網路(convolutional neural networks, CNN)結合的協同效應，期望增加聲學模型建模之一般化能力 (generalization capability) 。 （2)由於訓練多任務聲學模型的過程中，調整不同輔助任務之 貢獻(權重)的方式並不是最佳的，因此我們提出了重新調適法，以減輕這個問題。我們 基於在台灣所收錄的華語會議語料庫(Mandarin meeting recording corpus, MMRC)建立 了一系列的實驗。與數種現有的基礎實驗相比，實驗結果揭示了我們所提出的方法之有 效性。