Новая программа распознает язык жестов в медицинской сфере и преобразует его в текст для врачей, сообщил старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин.
Разработанная система функционирует следующим образом: установленная видеокамера фиксирует жесты пациентов, после этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы, по словам разработчиков, составляет более 90%.
В основу системы легла база данных, собранная специалистами СПб ФИЦ РАН совместно с межрегиональным центром реабилитации лиц с проблемами слуха города Павловска. Датасет включает в себя 85 жестовых высказываний, актуальных для приема у врача, каждое из которых записано 12 дикторами в пяти вариантах. Такое разнообразие необходимо для повышения точности машинного обучения и считывания языка жестов пациентов в реальных условиях.
Это связано с тем, что русский жестовый язык (РЖЯ) может отличаться в разговорах людей разного возраста, пола, региона происхождения. Кроме того, в России кроме «литературного» РЖЯ существует живая «калькирующая жестовая речь», которая отличается от базового языка жестов. Этот фактор также учтен в созданной системе.
