音素事後確率とd-vectorを用いたVariational Autoencoderによるノンパラレル多対多音声変換

摘要

話者コードで条件付けされたVariational AutoEncoder（VAE）を用いた従来のノンパラレル音声変換では，発話内容を表す潜在変数の過剰な正則化により，変換音声の品質が著しく劣化する．これに対し，本稿では，話者コードのみならず，学習済みの音声認識モデルの予測結果として得られる音素事後確率で条件付けされたVAEの学習法を提案する．本稿ではさらに，一対一VAE音声変換を任意話者対での変換が可能な多対多音声変換に拡張するための手法として，（1）話者コードの適応，及び（2）話者認証において有効なd-vectorを用いた学習·変換法を比較する．実験的評価により，（1）音素事後確率の導入により変換音声の品質が大きく改善すること，及び（2）話者コードとd-Vectorの両方がノンパラレル多対多VAE音声変換に適用可能であることを示す．