Sequence-to-sequence モデルによる日本語臨床会話における音声認識・話者ダイアライゼーションの同時実現

摘要

本稿では、診療記録を自動的に作成し、医師の効率的な診察を支援するため、医師と患者の臨床会話から発話内容と話者を推定する。従来、これらを音声から自動的に推定するには、音声認識と話者ダイアライゼーションのためのモデルをそれぞれ別に用意する必要があった。しかし、近年、Sequence-to-Sequence(S2S) 音声認識の枠組みを利用し、音声認識とダイアライゼーションを1 つのモデルで同時に実現する手法が提案されている[1]。具体的には、S2S のモデルとしてRNN-Trunsducer (RNN-T) を採用し、音響特徴量を入力し、単語系列だけでなく、発話が医者か患者のどちらのものかを示すラベルを出力する。しかし、英語の音声を対象としており、日本語での評価は行われていない。