Animation Unitを用いたHMM · DNNによるテキストからのフォトリアリスティック顔動画像合成におけるカラー化の検討

摘要

我々はこれまで，フォトリアリスティックな対話エージェント実現に向けたテキストからの顔動画像合成の手法として，Kinectによる顔特徴量を利用した隠れマルコフモデル(HMM)に基づく顔動画像合成手法を提案してきた.提案法では、Kinectを用いることで取得できる顔の各部位の状態を表したAnimation Unit (AU)パラメータを顔画像特徴量とし，HMM音声合成と同様の枠組みで任意のテキストから顔画像特徴量の合成を行う.そして生成された特徴量系列をDeep Neural Network (DNN)を用いて輝度値系列へと変換することでテキストからの顔動画像合成を実現する.本稿では，提案法において未検討であったカラー化について検討を行う.具体的には，提案法に基づいてカラーで顔動画像合成を行う際にHMM,DNNの最適な学習条件について検討し，主成分分析に基づく従来法と提案法のそれぞれに対して客観評価，主観評価を行って提案手法の有用性を示す.