口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討

摘要

本報告では舌亜全摘出者が発声する音声の音韻明瞭度改善を目的とした声質変換方式を提案する．舌亜全摘出者は癌治療なビにより手術で舌を半分以上摘出した人であり，舌亜全摘出者が発声した音声は健常者と比べると音韻明瞭度が低い．先行研究では，音響情報に加えて補助情報として音素ラベルを用いる声質変換方式が提案され，音韻明瞭度が大きく改善されることが示されている．しかし，実際の場面では，変換時に，発話内容に対応した音素ラベルを用意することは難しい．先行研究の方式を教師モデルとし，知識蒸留をおこなうことによって，合成時に音素ラベルを必要としない生徒モデルを作成することを目指す．知識蒸留をおこなうことによって，知識蒸留をおこなわない方式よりも性能が改善されたが，舌亜全摘出者の音韻明瞭性の改善は十分ではない．そこで，生徒モデルの性能向上のため，口唇情報を追加の特徴量として利用する方式を検討する．CNN-Autoencoderを用いて，口唇情報からボトルネック特徴量を抽出し，追加の入力特徴量として用いる．評価実験では，CNN-Autoencoderの性能，各声質変換方式の変換精度を評価した．