СИСТЕМА РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ ЖЕСТОВ НА ОСНОВЕ НОСИМОГО УСТРОЙСТВА

摘要

Задача распознавания жестов, рассматриваемая в работе, является важной для построения человеко-машинных интерфейсов управления программным и аппаратным обеспечением компьютеров, роботов, для расширения возможностей общения людей с дефектами слуха и речи. Авторы разработали систему захвата, оценки, классификации динамических жестов кисти человека, построенную на основе носимого устройства. Распознавание жестов осуществляется с использованием эталонного представления жестов и основано на алгоритме кластеризации С-средних, использовании нечетких конечных автоматов и грамматик с построением нечетких функций принадлежности жеста. Описан подход к формированию моделей динамических жестов, приведен пример построения графа модели эталонного жеста. Разработано беспроводное носимое устройство и программное обеспечение для него, реализующие распознавание жестов. Показана структура носимого устройства, его функциональные возможности, а также внешний вид его аппаратной составляющей на базе Arduino Nano. Произведено тестирование системы для девяти различных динамических жестов, которое показало приемлемую точность их распознавания и возможность работы системы в режиме реального времени. В статье также представлены перспективы применения и дальнейшего развития разработанной системы.