RGB-Dカメラを用いた顔モデルのリアルタイム生成·合成～ビデオチャットや鏡アプリのための顔向き補正

摘要

ビデオチャットや鏡アプリなど，画面外にカメラを置いて画面上に顔を表示するシステムは，カメラとディスプレイの位置が異なるため正面を向いた映像を撮影して表示することは難しい．本研究では1台のRGB-Dカメラから2.5次元形状を表す顔モデルを生成して，その顔モデルを適切に回転させることによって正面を向いた顔モデルを取得し，映像と合成することによって映像中の顔の向きをリアルタイムに補正する手法を提案する．従来の手法と異なり、RGB-Dカメラの深度情報と一般の顔モデルを相補的に使用することでシステムの利便性と合成の自然さの両立を図る．加えて，18名による主観評価実験によってその効果を確かめる．