Codebook-based Background Subtraction to Generate Photorealistic Avatars in a Walkthrough Simulator

摘要

Foregrounds extracted from the background, which are intended to be used as photorealistic avatars for simulators in a variety of virtual worlds, should satisfy the following four requirements: 1) real-time implementation, 2) memory minimization, 3) reduced noise, and 4) clean boundaries. Accordingly, the present paper proposes a codebook-based Markov Random Field (MRF) model for background subtraction that satisfies these requirements. In the proposed method, a codebook-based approach is used for real-time implementation and memory minimization, and an edge-preserving MRF model is used to eliminate noises and clarify boundaries. The MRF model requires probabilistic measurements to estimate the likelihood term, but the codebook does not use any probabilities to subtract the background. Therefore, the proposed method estimates the probabilities of each codeword in the codebook using an online mixture of Gaussian (MoG), and then MAP-MRF (MRF: Maximum A-Posteriori) approaches using a graph-cuts method are used to subtract the background. In experiments, the proposed method showed better performance than MoG-based and codebook-based methods on the Microsoft DataSet and was found to be suitable for generating photorealistic avatars.%筆者らは、仮想環境と共に遠隔の人物の写実的アバタを提示することで、移動・作業と会話を含むタスクに関する評価実験や遠隔作業支援を行うことのできるウオークスルーシミュレータ（WTS）を開発している。本稿では、写実的アバタ生成のためのカメラ映像からの前景（人物）抽出手法として、1）実時間性の高さ、2）消費メモリの少なさ、3）ノイズの少なさ、4）前景境界の正確さ、の4つの指標を考慮した、コードブックに基づくマルコフランダム場（MRF）モデルを用いた背景差分法を提案する。本手法では、実時間性の高い実装と消費メモリの抑制のためにコードブックに基づくアプローチを、ノイズ低減や正確な前景輪郭獲得のためにエッジを保存するMRFモデルを採用する。MRFモデルは尤度項を推定するために確率的な観測を必要とするが、提案手法では、オンライン混合正規分布を用いてコードブック中の各コードワードの確率を推定し、グラフカットを用いたMAP－MRF（MAP：Maximum A－Posterior）アプローチにより背景差分を行う。