РЕАЛИЗАЦИЯ АВТОМАТИЧЕСКОЙ СИСТЕМЫ МНОГОМОДАЛЬНОГО РАСПОЗНАВАНИЯ РЕЧИ ПО АУДИО- И ВИДЕОИНФОРМАЦИИ

摘要

Представлена математическая модель и программная реализация автоматической системы распознавания русской речи с применением методов цифровой обработки и анализа аудиовизуальных сигналов от микрофона и видеокамеры. Приведено описание вероятностного моделирования аудиовизуальной речи на основе математического аппарата сдвоенных скрытых марковских моделей, методов объединения информации с применением весовых коэффициентов аудио- и видеомодальностей речи и параметрического представления сигналов. Количественные результаты по многомодальному распознаванию слитной русской речи свидетельствуют о высокой точности и надежности работы автоматической системы.