Animation Unitを用いたHMM·DNN によるテキストからのフォトリアリスティック顔動画像合成におけるカラー化の検討

摘要

我々はこれまで，フォトリアリスティックな対話エージェント実現に向けたテキストからの顔動画像合成の手法として，Kinectによる顔特微量を利用した隠れマルコフモデル（HMM）に基づく顔動画像合成手法を提案してきた．提案法では、Kinectを用いることで取得できる顔の各部位の状態を表した Animation Unit（AU）パラメータを顔画像特徴量とし，HMM 音声合成と同様の枠組みで任意のテキストから顔画像特徴量の合成を行う．そして生成された特微量系列を Deep Neural Network（DNN）を用いて輝度値系列へと変換することでテキストからの顔動画像合成を実現する．本稿では，提案法において未検討であったカラー化について検討を行う．具体的には，提案法に基づいてカラーで顔動画像合成を行う際に HMM·DNN の最適な学習条件について検討し，主成分分析に基づく従来法と提案法のそれぞれに対して客観評価，主観評価を行って提案手法の有用性を示す．