В фильме Стивена Спилберга « Готовый игрок один » 2018 года, основанном на книге Эрнеста Клайна 2011 года, люди попадают в захватывающий мир виртуальной реальности, который называется ОАЗИС. В этом научно-фантастическом фильме больше всего привлекали внимание футуристические технологии, а не очки виртуальной реальности, которые, кажется, не столь далеки от гарнитур, которые в настоящее время продаются Oculus, HTC и другими. Это было взаимодействие чувства вне пределов видения и звука: прикосновение.
Персонажи носили перчатки с обратной связью, которые позволяли им чувствовать воображаемые предметы в своих руках. Они могли бы перейти на костюмы для всего тела, которые воспроизводили силу удара в грудь или поглаживания ласки. И все же эти возможности тоже могут быть не такими далекими, как мы себе представляем.
Мы полагаемся на прикосновение - или «тактильную» - информацию постоянно, способами, которые мы даже не осознаем. Нервы в нашей коже, суставах, мышцах и органах говорят нам о том, как расположены наши тела, как сильно мы что-то держим, какая погода или что любимый человек проявляет привязанность в объятиях. Во всем мире инженеры сейчас работают над воссозданием реалистичных ощущений касания, для видеоигр и многого другого. Взаимодействие между человеком и компьютером улучшит управление роботом, физическую реабилитацию, образование, навигацию, общение и даже покупки в Интернете.
«В прошлом хаптики были хороши в том, чтобы делать вещи заметными, с вибрацией в вашем телефоне или грохотом в игровых контроллерах», - говорит Хизер Калбертсон, ученый из университета Южной Калифорнии. «Но теперь произошел сдвиг в сторону того, чтобы сделать вещи более естественными, более имитирующими ощущение естественных материалов и естественных взаимодействий».
Будущее не просто яркое, а текстурированное.
* * *
Тактильные устройства могут быть сгруппированы в три основных типа: захватываемые, носимые и сенсорные. Для восприятия, думаю, джойстики. Одно из очевидных применений - работа роботов, так что оператор может почувствовать, какое сопротивление оказывает робот.
Возьмите хирургических роботов, которые позволяют врачам работать с другой стороны света, или манипулировать инструментами, слишком маленькими или в местах, слишком тесных для их рук. Многочисленные исследования показали, что добавление тактильной обратной связи к управлению этими роботами повышает точность и уменьшает повреждение тканей и время работы. Те, кто обладает тактильной обратной связью, также позволяют врачам тренироваться на пациентах, которые существуют только в виртуальной реальности, в то же время получая ощущение фактического сокращения и наложения швов. Один из учеников Калбертсона в настоящее время разрабатывает стоматологические симуляторы, чтобы первое ошибочное сверление студента-стоматолога не имело реального зуба.
Инженеры создают системы для передачи реалистичных ощущений от прикосновения к видеоиграм, роботизированным средствам управления и многим другим возможностям. (Предоставлено журналом Knowable) Получение информации о том, что делает робот под вашим командованием, также будет полезно для обезвреживания бомб или извлечения людей из разрушенных зданий. Или для ремонта спутника без подготовки к выходу в открытый космос. Даже Дисней изучал тактильные роботы телеприсутствия для безопасного взаимодействия человека с роботом. Они разработали систему, которая имеет пневматические трубки, соединяющие роботизированные руки гуманоида с зеркальным набором рук, чтобы человек мог его понять. Человек может манипулировать зеркальным ботом, чтобы первый бот держал воздушный шар, подбирал яйцо или гладил ребенка по щекам.
В меньшем масштабе лаборатория-роботизатор Джейми Пайк из Швейцарского федерального технологического института в Лозанне (EPFL) разработала переносной гаптический интерфейс под названием Foldaway. Устройства о размерах и форме квадратной подставки для напитков имеют три шарнирные руки, которые всплывают, встречаясь посередине. (Стефано Минчев, постдок из лаборатории, называет их «миниатюрными роботами-оригами».) Маленькая пластиковая ручка может быть прикреплена сверху, где руки встречаются, создавая джойстик, который действует в трех измерениях - и руки отталкиваются назад, чтобы дать пользователь ощущает объекты, на которые он давит. В демонстрациях команда использовала устройства для управления воздушным дроном, сжатия виртуальных объектов и ощущения формы виртуальной человеческой анатомии.
Существуют определенные проблемы с захватом тактильных ощущений, которые могут показаться непреодолимыми, например, как вы ощущаете вес при захвате и поднятии невесомых цифровых объектов? Но, изучая нейробиологию, инженерам удалось найти несколько обходных путей. Калбертсон и его коллеги разработали устройство Grabity для решения проблемы гравитации. Это своего рода тиски, которые можно сжимать и сжимать, чтобы подбирать виртуальные объекты. Просто вибрация определенным образом может создать иллюзию веса и инерции.
Но «одурачивание мозга заходит так далеко», - говорит Эд Колгейт, инженер-механик из Северо-западного университета, работающий в области тактильной техники. Иногда легко сломать тактильные иллюзии. По его мнению, в долгосрочной перспективе инженерам необходимо будет воссоздать физику реального мира - вес и все - как можно точнее. «Это действительно сложная проблема».
Захватывающее тактильное устройство, называемое Grabity (внизу), создает иллюзию веса и инерции при работе с виртуальными объектами. Здесь он имитирует ощущение блока (сверху). (Предоставлено Стэнфордской Лабораторией Формы) Захватывающие устройства часто используют кинестетические ощущения: ощущения движения, положения и силы, опосредованные нервами не только в нашей коже, но и в мышцах, сухожилиях и суставах. Носимые устройства, с другой стороны, обычно полагаются на тактильные ощущения - давление, трение или температуру - опосредованные нервами в коже.
Разнообразные экспериментальные устройства носят на пальце, прижимая к подушечке пальца с различной степенью силы, когда человек касается объектов в виртуальной реальности. Но недавнее устройство обеспечивает такую же обратную связь, не закрывая подушечку пальца. Вместо этого его носят там, где можно надеть кольцо, и в нем есть моторы, которые растягивают кожу под ним. Это позволяет пальцам свободно взаимодействовать с объектами реального мира, в то же время ощущая «виртуальные» объекты - полезную функцию как для игр, так и для серьезных приложений.
В одном тесте человек мог держать настоящий кусок мела и чувствовать давление, когда они «писали» на виртуальной доске из-за тактильной иллюзии: когда они одновременно увидели, что мел соприкасался с доской, и почувствовали, что его кожа растянута, их одурачили в чувство давления в кончиках их пальцев.
Чаще носимые тактильные устройства взаимодействуют посредством вибрации. Например, лаборатория Калбертсона работает над браслетом, который направляет пользователя, вибрируя в направлении, в котором он или она должен повернуться. И NeoSensory, компания, основанная Стэнфордским нейробиологом Дэвидом Иглманом, разрабатывает жилет с 32 вибрационными моторами, который был продемонстрирован в эпизоде научно-фантастического сериала HBO Westworld, где он якобы помогал персонажам определять направление приближающихся врагов.
Одним из первых реальных применений жилета будет преобразование звука в тактильные ощущения, чтобы сделать разговорный язык более понятным для людей с глубокой или полной потерей слуха. Иглман также работает над переводом аспектов визуального мира в вибрации для слепых людей. Другие усилия включают в себя более абстрактную информацию, такую как рыночные данные и данные об окружающей среде - вместо сетки, указывающей, где все находится в пространстве, сложный паттерн колебаний может указывать на цены дюжины акций.
Это изображение показывает дизайн мягкого, гибкого, подобного коже материала, который соответствует телу, для носимых тактильных устройств. Слои датчика и привода разделены слоями силикона. В слое датчика титанат цирконата свинца (PZT) переводит силу в электрический заряд для обратной связи с компьютером. Слой привода содержит крошечные карманы, которые могут заполняться воздухом много раз в секунду для вибрационной обратной связи с пользователем. (По материалам HA Sonar и др. / Frontiers in Robotics and AI 2016) Вибрационные двигатели могут быть громоздкими, поэтому некоторые лаборатории разрабатывают более удобные решения. Лаборатория Пайка в EPFL работает над мягкой оболочкой пневматического привода (SPA) - листом гибкого силикона толщиной менее 2 миллиметров, который усеян крошечными воздушными карманами. Они могут быть раздуты и сдуты независимо десятки раз в секунду и, таким образом, выступать в качестве пикселей - или «такселей» для тактильных элементов - создавая сетку ощущений. Они могут давать такие же ощущения, как костюмы, предлагаемые в Ready Player One, или отзывы о расположении роботов или протезов. Кожа SPA также оснащена датчиками, изготовленными из нового коррозионно-стойкого металлического сплава, который позволяет использовать эту же кожу для ввода данных с компьютера, когда пользователь сжимает ее.
Еще более тонкая гаптическая пленка - толщиной менее полумиллиметра - также скоро будет создана Novasentis и изготовлена из новой формы поливинилиденфторидного пластика, которая уравновешивает прочность, гибкость и электрическую чувствительность. Когда пленку накладывают на одну сторону листа гибкого материала и прикладывают электрический заряд, пленка сжимается и сгибает лист, оказывая давление на кожу. Novasentis теперь предоставляет материал производителям устройств, которые надевают его на перчатки для виртуальной реальности и игр.
«Вы можете различить воду, песок и камень», - говорит Шри Перувемба, вице-президент по маркетингу компании. Дизайнеры виртуальной реальности могут также создавать более абстрактные представления, такие как сенсационные сообщения о состоянии игры. «Мы можем создать целый тактильный язык с помощью наших технологий», - говорит Перувемба.
Вибрации могут вызвать другой вид тактильной иллюзии: ощущение натяжения. Если устройство, вибрирующее назад и вперед параллельно поверхности кожи, быстро движется в одном направлении и медленно назад в другом направлении, много раз в секунду, создается ощущение, что оно дергает кожу в первом направлении.
В то время как большинство носимых носителей используют тактильные ощущения, они также могут использовать кинестетические ощущения для мышечно-суставного сухожилия. Инженеры разработали роботизированные экзоскелеты, своего рода леса, привязанные к корпусу с датчиками и моторами, которые могут помочь парализованным людям ходить, придать солдатам суперсилу и позволить людям управлять роботами на расстоянии. Лаборатория в EPFL разработала FlyJacket, который носит с руками прямо в стороны, соединенные поршнями с талией. Он не выглядит особенно летающим, но он позволяет людям контролировать полет воздушных беспилотников, двигая руками и крутя торсы. Когда дрон чувствует порыв ветра, вы тоже.
Последняя категория устройств - это сенсорные интерфейсы, такие как экраны смартфонов, которые немного раздражают при нажатии на приложение. Работа Калбертсона выходит за рамки простых ударов и шумов. Она моделирует текстуру на поверхностях, используя то, что она называет «управляемой данными гаптикой». Вместо того чтобы писать сложные алгоритмы или физические модели для генерации вибраций, имитирующих реальные, она записывает, что происходит, когда что-то перетаскивается по разным тканям или другим материалам с разными скоростями и давление. Затем у нее есть поверхность, которая воспроизводит вибрации, когда по ней перетаскивают ручку. Приложения могут включать онлайн-покупки и виртуальные музеи.
Сенсорное тактильное устройство позволяет пользователю «чувствовать» различные текстуры в зависимости от того, какие шаблоны вибрации передаются через перо. Вибрации меняются в зависимости от скорости, с которой перемещается ручка, или от того, какое давление оказывает пользователь. Целью является реалистичное моделирование шероховатости, твердости и скользкости поверхностей. (Предоставлено Хизер Калбертсон) Touchable поверхности также позволяют виды иллюзий. Например, говорит Калбертсон, при воспроизведении звука нажатия кнопки, когда кто-то нажимает на изображение кнопки, создается ощущение, что кнопка действительно нажимает. Или появление экрана, который может деформироваться под пальцем, может сделать его более мягким. Люди строят восприятие, связывая воедино зрение, звук, осязание, вкус и запах - и, как говорит Калбертсон, «действительно легко обмануть свой мозг, если у тебя несоответствие между чувствами».
Реалистичные тактильные ощущения для VR всегда могут быть неуклюжими и дорогими. Или технология может в конечном итоге сделать Ready Player One странным. В любом случае, как мы можем видеть с помощью таких маленьких шагов, как грохочущие контроллеры видеоигр и бесконечно вибрирующие телефоны и часы, тактильные устройства всегда остаются, добавляя новое измерение в нашу цифровую жизнь.
Knowable Magazine - это независимый журналистский журнал Ежегодных Обзоров. 
