テレビ映像を画面外に拡張するシステム「Augmented TV」

摘要

We propose a new TV system that is able to augment the TV programs to show images beyond the TV screen. In the system, which we named "augmented TV", animated 3DCG content interlocked with TV programs is overlaid on live video from a camera of a mobile device by using augmented reality techniques. This enables, for example, a TV character to appear to come out of the screen. We developed an accurate synchronization method and authoring environment for augmented TV content We implemented augmented TV and confirmed that it had frame-accurate synchronization (the synchronization error was about 0.03 seconds or less).%新しい映像表現の1つとして，携帯端末のカメラを通してテレビを見ることで，テレビの映像を画面外に拡張するシステム[Augmented TV」を研究している。Augmented TVでは，拡張現実感(AR：Augmented Reality)の技術を用いて，携帯端末の画面上で，カメラから取り込んだ画像に3DCG(3Dimensional Computer Graphics)アニメーションをオーバーレイ表示（重ねて表示）することにより，テレビ画面内のキャラクターがテレビ画面の外に飛び出してくるように見える演出をすることが可能である。画面を挟んでスムーズな出入りを実現させるためには，携帯端末における3DCGの表示時刻が重要であり，高い同期精度が要求される。今回，高精度な同期方式とコンテンツ制作環境を開発した。市販のテレビとタブレットを用いて試作したシステムを評価したところ，フレーム単位（0.03秒以下）の同期精度が得られた。