運用Python結合語音辨識及合成技術於自動化音文同步之實作

摘要

本計一個方便處理有聲書音文同步的技術，利用雲端的文字轉語音(Text-tcvspeech)技術，結合語音辨識(Speech Recognition)技術，讓使用者能夠使用自行準備的文章來製作自己的『跟述練習』(Shadowing technique)的學習素材，製作達到詞層級(Word-level)的音文同步有聲書。此音文同步摘書是藉由『微寺間點啦字』(Timed-text)檔案所製作，而御寺間點敝字則是由者所提供的文章連同對應的語音聲波檔案，經由一套名為CGUAlign的音文同步技術之處理所產生的。CGUAlignPython將一有名術一HTK(Hidden Markov Model Toolkit)包裝，只要提供文字檔案及其朗讀的語音檔，其中語音檔是經由雲端語音合成技術而得來的，即能製作出音文同步的帶時間點的文字檔案，隨後，我們也建立一個簡易的以JavaScript製作的網站，能夠運用這個檔案做電腦輔助語言學習(Computer-assisted language learning, CALL)之用，此網站能夠閱讀音文同步有聲書，讓使用者能夠較輕鬆的做跟述練習，最後我們也提供即時翻譯的功能來逹到電腦輔助語言學習的目標。