В течение последних нескольких десятилетий исследователи регулярно разрабатывали устройства, предназначенные для перевода американского языка жестов (ASL) на английский, в надежде облегчить общение между людьми с нарушениями слуха и слухом и миром слуха. Многие из этих технологий используют перчатки, чтобы запечатлеть движение подписи, которое может быть громоздким и неудобным.
Теперь группа исследователей из Университета штата Мичиган (MSU) разработала устройство без перчаток размером с трубку Chapstick, которое, как они надеются, улучшит ASL-английский перевод.
Технология, называемая DeepASL, использует устройство камеры для захвата движений рук, а затем передает данные через алгоритм глубокого обучения, который сопоставляет их с признаками ASL. В отличие от многих предыдущих устройств, DeepASL может переводить целые предложения, а не отдельные слова, и не требует, чтобы пользователи делали паузу между знаками.
«Это по-настоящему ненавязчивая технология», - говорит Ми Чжан, профессор электротехники и вычислительной техники, который ведет исследования.
Чжан и его команда надеются, что DeepASL поможет глухим и слабослышащим людям, работая переводчиком в режиме реального времени. Это может быть особенно полезно в экстренных ситуациях, говорит Чжан, когда ожидание переводчика может стоить драгоценных минут. Устройство, которое может быть интегрировано с телефоном, планшетом или компьютером, также может помочь в обучении ASL, говорит Чжан. Поскольку более 90 процентов глухих детей рождаются от слышащих родителей, существует большое сообщество взрослых, которым необходимо быстро выучить ASL. DeepASL может выступать в роли цифрового репетитора, предоставляя отзывы о том, правильно ли подписываются учащиеся.
Чжан подал заявку на патент и надеется, что устройство появится на рынке в течение года. Поскольку она основана на доступной технологии - система захвата движения Leap Motion продается за 78 долларов - она может быть более доступной, чем предыдущие.
Исследователи Бийи Фанг и Ми Чжан демонстрируют DeepASL. (Мичиганский государственный университет) Но Кристиан Воглер, профессор коммуникационных исследований в Университете Галлоде, университете для людей с нарушениями слуха или слуха, скептически относится к устройствам, предназначенным для перевода ASL, и его скептицизм разделяют многие в сообществе глухих.
Устройства обычно не «переводят» ASL, просто распознают знаки рук и превращают их в английское слово за знак, говорит Воглер. Это означает, что ключевая грамматическая информация потеряна, информация о том, является ли фраза вопросом, отрицанием, относительным предложением и так далее. В то время как DeepASL переводит полные предложения, некоторые функции грамматики ASL выходят за рамки знаков руки - выражения лица часто используются в качестве модификаторов, поднятие бровей может превратить фразу в вопрос, а позиционирование тела может указывать, когда пользователь ASL цитирует кого-то другого.
До сих пор «ни одна из систем не была даже отдаленно полезна для подписывающих людей», говорит Воглер, добавляя, что исследователи часто, похоже, «очень мало общаются с сообществом [глухих и слабослышащих] и очень слабо представляют себе их реальные». нуждается «.
Команда Чжана тестировала устройство не на людях, которые были глухими и слабослышащими, а на учениках программы перевода на язык жестов. Чжан подчеркивает, что DeepASL на данный момент предназначен для обеспечения только базовой связи, и что это только отправная точка. Он говорит, что его команда надеется расширить возможности DeepASL в будущем, чтобы также фиксировать выражения лица.
«Это будет следующая важная веха для нас», - говорит он.
Воглер говорит, что положительно, что в технологии МГУ используются методы глубокого обучения, которые были успешны в разговорной речи. Но, несмотря на отсутствие необходимости в перчатках, устройство, вероятно, имеет те же недостатки, что и любая предыдущая система, поскольку оно не фиксирует движения лица и тела.
Фоглер считает, что исследователи должны отойти от идеи, что устройства распознавания языка жестов действительно могут удовлетворить личные потребности общения.
«У нас есть много вариантов для облегчения личного общения, и пока у нас не будет чего-то, что действительно уважает лингвистические свойства языков жестов и реальное поведение общения подписывающих лиц, эти усилия не будут заменять или заменять их», - говорит он. «Вместо этого людям нужно работать с реальными членами сообщества и с людьми, которые понимают сложности языков жестов».
Воглер говорит, что было бы полезно, чтобы технологии распознавания языка жестов, такие как MSU, работали с голосовыми интерфейсами, такими как Alexa. По его словам, развитие этих интерфейсов является проблемой доступности для людей, которые имеют проблемы со слухом и глухотой, поскольку Интернет - в основном визуальная среда - представляет собой серьезную проблему для людей, которые слепы на протяжении многих лет.
«В настоящее время у нас нет эффективного и действенного способа взаимодействия с этими голосовыми интерфейсами, если мы не можем или не хотим использовать наш голос», - говорит он. «Распознавание языка жестов идеально подходит для этой ситуации, и в действительности оно может оказаться полезным и привыкнуть».
