拡張現実感における手を用いた直感的な操作の実現と評価

摘要

拡張現実感(AR：Augmented Reality)とは、図1 に示すように、実空間上のマーカをカメラ画像から画像処理によって検出し、マーカ上に3DCG を重ねて表示する技術である。近年、AR を用いた多くのアプリケーションが開発されているが、AR の実現方法によってはその操作性に課題がある。例えば、図1(a)に示すようなスマートフォン端末におけるAR アプリケーションにおいては、ユーザがタッチパネルをタッチすることにより、AR で表示した物体の直感的な操作が可能である。しかし、図1(b)のようにユーザがHMD を装着した場合、AR で表示した物体を操作するためには、マーカを注視した状態でキーボードやマウスなどの通常の入力装置や特別な操作デバイスを用いる必要があるため、直感的な操作を行うには熟練を要する。そこで、HMD を装着した場合においても直感的な操作を実現する例として、ユーザの手を用いる手法が提案されており、実際多くの研究が行われている。そこで本研究では、アプリケーションに対する入力としてユーザの手を用いることにより、直感的な操作を実現するAR アプリケーションの開発を行う。本アプリケーションではPC に接続されたWeb カメラとHMD を用いて、画像処理によって手を認識した後、手の形状モデルの作成と、手の奥行き推定を行う。次に、これらを用いることにより、ユーザの手の動作を判定し、AR で表示した3D モデルやウィンドウに対するユーザの直感的な操作を実現する。さらに本研究ではユーザ登録機能を実装し、複数ユーザにおける手の動作判定の精度評価を行う。