Около 500 000 американцев используют американский язык жестов (ASL). Для глухих пользователей ASL общение с теми, кто не владеет языком, может стать проблемой. Хотя большинство глухонемых американцев изучают разговорный язык с помощью логопедии, некоторым все еще трудно понять себя на словах или просто считают язык жестов более плавной формой самовыражения.
Теперь исследователи из Техасского университета A & M разработали носимое устройство, которое «переводит» язык жестов на английский, ощущая движения пользователя. Устройство, все еще находящееся на стадии прототипа, может распознавать около 40 знаков ASL с точностью 96%.
Система использует два датчика. Одним из них является датчик движения с акселерометром и гироскопом, который измеряет скорость и угол наклона руки и руки пользователя. Почувствовав, где находятся руки и руки пользователя, он может начать догадываться, какое слово он может подписывать. Затем есть электромиографический датчик, который измеряет электрический потенциал мышечного движения. Он может точно сказать, какая часть рук и пальцев движется, что очень важно.
«Если вы посмотрите на словарь американского языка жестов, то есть случаи, когда рука сама движется, и у вас очень тонкое движение пальцев», - говорит Роузбех Джафари, инженер, который руководил проектом. «Если вы хотите обнаружить их, вы не сможете использовать только движение руки».
Например, слово «пожалуйста» в ASL включает в себя круги по груди с открытой ладонью. Слово «извините» использует идентичное движение, но рука сжата в кулак.
Датчики носятся на правом запястье пользователя. Полученная информация отправляется через Bluetooth на ноутбук. Этот ноутбук использует алгоритм для интерпретации знака и отображает слово на английском языке на экране.
В конце концов, Jafari надеется отменить необходимость в ноутбуке, подключив небольшой компьютер непосредственно к устройству. Затем компьютер может отправить английские слова на телефон другого человека, чтобы они могли прочитать, что говорит их собеседник.
Очевидно, что переводчик также должен стать опытным в гораздо большем количестве знаков, чем 40, чтобы быть жизнеспособным продуктом. В то время как существуют сотни знаков ASL, оригинальные 40 знаков были выбраны, потому что они распространены и полезны, говорит Джафари. Человек может использовать их, чтобы произносить простые, важные предложения, такие как «Мне нужна вода». Устройство также должно будет работать быстрее - прямо сейчас, пользователи должны сделать паузу между словами, чтобы дать ему время для перевода.
«На самом деле люди так не говорят», - говорит Джафари.
Но эта более продвинутая система, говорит он, - это путь вниз, и он потребует больше работы и финансирования.
Предыдущие технологии перевода ASL использовали камеры для чтения жестов. Но они плохо работают в условиях плохого освещения, говорит Джафари. Кроме того, многим людям не нравится идея иметь камеру, наблюдающую за ними все время.
В последние годы был создан ряд других технологий, чтобы помочь глухим и слышащим людям общаться друг с другом. Приложение под названием Transcense, выпущенное в прошлом году, переводит речь нескольких людей в письменные слова и представляет их на экране в виде пузырьков с цветовой кодировкой. Он предназначен, чтобы помочь глухим людям на собраниях или в социальных ситуациях, когда несколько говорящих могут стать проблемой даже для самых опытных читателей. Другая компания, MotionSavvy, работает над планшетом, который интерпретирует движения ASL и читает слова вслух на английском языке. В Китае исследователи использовали чувствительное к движению оборудование Microsoft Kinect для перевода китайского языка жестов в устные и письменные слова.
Как человек, который давно работает с носимыми технологиями, такими как часы, которые контролируют сердечный ритм, Jafari понимает важность комфорта и эстетики. Если устройство неудобно и навязчиво, люди не будут его носить. Текущий прототип устройства для перевода на язык жестов выглядит как медицинский инструмент с электродами, ремнями и проводами. Джафари хотел бы, чтобы окончательная версия была маленькой и привлекательной.
«Я хочу, чтобы вся система помещалась в часы», - говорит он.
