Scene Text Detection and Tracking for Wearable Camera System

摘要

視覚障害者の生活応援にとって重要なハードウェアの一つとして、情景画像中の文字領域を抽出し、文字の認識を行い、音声や点字などの代替の表現に変換するデバイスが考えられる．本稿では、情景画像中の文字を自動抽出し、文字領域のトラッキングを行い、文字認識に適した文字画像を選択する機能を有するウェアラブルなデバイスについて述べる．提案手法では、パーティクルフィルタに基づくトラッキング手法によって、認識にかかる重複した文字画像を削減する．文字のトラッキングで得られた一連の文字画像チェーンの中から、最も適した文字画像が選択される．実験の結果、従来手法と比較して重複画像の35％の削減が達成された．%One of the most anticipated hardware for visually impaired people is probably the device capable of capturing and translating text messages in natural scene images into an alternative representation such as speech or braille. This paper presents a wearable camera system that is capable of detecting text regions in natural scene images, tracking text regions and selecting text images suitable for character recognition. A particle filter-based tracking is employed to reduce multiple and redundant text images. Moreover, the most appropriate text images are selected from text regions chains created by the text tracking. Experimental results demonstrate that 35% improvement has been achieved.