顔特徴量を用いたテキストからのフォトリアリスティック顔動画像生成の検討

摘要

本稿では，フォトリアリスティックな対話エージェント実現に向けた顔動画像合成の手法として，Kinectによる顔特徴量を利用した隠れマルコフモデル（Hidden Markov Model，HMM）に基づく顔動画像合成手法を提案する．近年，対話型エージェントのようにコンピュータと人間が対話する機会が増えつつあり，より人間らしく受け答えのできるエージェントが今後望まれると考えられる．そのために本研究ではエージェントの人間らしさとしてその見た目に着目し，発話内容に同期したフォトリアリスティックな顔動画像の合成を目指す．従来法ではHMM音声合成の枠組みを顔動画像合成に適用する手法が提案されており，合成された顔動画像の品質や学習に用いるデータ作成のコストが高いといった問題点がある．そこで提案法では，Kinectを用いることで取得できる顔の各部位の状態を表したAnimation Unit（AU）を特徴量とし，HMM顔画像合成で得られた顔特徴量をDeep Neural Network（DNN）を用いて輝度値系列へと変換することで顔画像合成を行う．本稿では提案法におけるHMM，DNNでのパラメータ生成性能について評価を行って最適な学習条件について検討したのち，合成した顔動画像系列を示す．