Bezdotykowy interfejs klawiatury ekranowej dla systemów GNU/Linux

摘要

Artykuł porusza problem bezdotykowego interfejsu klawiatury ekranowej przeznaczonego przede wszystkim dla osób niepełnosprawnych oraz kwestie realizacji projektu na odpowiedniej platformie sprzętowo-programowej. Proponowane rozwiązanie wpisuje się w obecną tendencję eliminowania fizycznych kontrolerów i zastępowania ich naturalnymi gestami użytkownika. W artykule omówiono podejścia stosowane w bezdotykowych interfejsach człowiek-komputer, przedstawiono ideę bezdotykowego interfejsu klawiatury ekranowej oraz kluczowe mechanizmy działania proponowanego rozwiązania.%In the paper the problem of a non-contact onscreen keyboard interface is addressed. There is a great number of people with disabilities who cannot have an effective control over electronic devices. They are unable to use standard input devices (mouse and keyboard) or take advantage from new sensors (e.g. Kinect). Communication with other people over the Internet and access to information are only possible with some control over computer equipment. There are four main approaches in touchless interfaces: eyetracking [1, 2], brain-computer interface [3, 4], speech recognition [5] and computer vision [6-9]. These techniques are addressed in Section 1 and the paper focuses on the computer vision approaches using them for a touchless onscreen keyboard - a visual input interface for disabled. The idea of the interface, named QVirtboard, is presented in Fig. 1 and described in Section 2. The gesture interpreter processes a video stream from a simple webcam. The user interaction is through movement (usually head). User movements interpreted as gestures allow a key on the keyboard selection. Image analysis is based on colour image processing [12] and background modeling in video sequences [10, 11]. It is described in Section 3 and examples are shown in Fig. 2. To minimize the distance between each key, a special keyboard layout is proposed in Section 4 (Fig. 4). The layout takes into account the frequency of occurring the pairs of Polish language letters (Fig. 3 presents the appropriate diagram). The solution designed for GNU/Linux systems is open and extensible.