モーションキヤプチヤで得られる顔の動きを用いた動的な三次元顔表情の生成

摘要

本研究では,モーションキヤプチヤで得られる表情表出時の顔の動きを用いて,その表情時の顔三次元形状の推定を行った.モーションキヤプチヤシステムで真顔の状態からの数種類の表情表出を,三次元レンジフアインダで真顔と数種類の表情顔を計測し,それぞれ表情顔と真顔との差分を求め表情毎の平均を算出した.この表情平均に対しモーションキヤプチャデータと三次元形状それぞれ別々に主成分分析を施し,得られた主成分空間に表情平均を写像することで次元圧縮を行った.こうして得られた表情パラメータ同士を等号で結ぶ行列を求めた.その行列に基づきモーションキヤプチヤの全フレームにおいて,その表情時の三次元形状を推定する事で動的な三次元顔表情の生成を行った.%In this research, we generated 3D and dynamic expression face from facial deformation obtained by motion capture system. Averages of every expression are calculated from displacement expression face and neutral face of two types of 3D facial deformation, one is expression data from neutral face obtained by motion capture, the other is expression and neutral face data obtained by 3D range finder. Matrix equalize two types of 3D fecial deformation is calculated by estimating low dimensional parameter from one another achieved by principal component analysis for these averages. 3D and dynamic expression face is generated with multiplying this matrix by facial motion data's all frame.