Человеческое лицо работает, в зависимости от того, как вы их считаете, от 23 до 43 мышц, многие из которых прикрепляются к коже, не обеспечивая никакой очевидной функции для выживания. Инопланетянин, исследующий человеческий образец в изоляции, не знал бы, что с ним делать. Растягивая лоб, брови, губы и щеки, мышцы передают огромное количество информации о нашем эмоциональном состоянии, уровне интереса и бдительности. Это удивительно эффективное средство общения - почти мгновенное, обычно точное, преодолевающее большинство языковых и культурных барьеров. Но иногда данные теряются, игнорируются или неверно интерпретируются. Если лесоруб улыбается в лесу, а вокруг никого нет, был ли он на самом деле счастлив?
Из этой истории
[×] ЗАКРЫТЬ
Так долго смайлики. Ученый разрабатывает технологию, которая может обнаруживать и читать наши выражения
Видео: Smithsonian Ingenuity Awards 2015: Рана эль Калиуби
Связанные чтения
Эмоциональный интеллект: почему он может иметь значение больше, чем IQ
купитьРана эль Калиуби ненавидит видеть, как эта информация пропадает. Встречаясь с эль Калиуби в ее небольшом офисе в Уолтеме, штат Массачусетс, я вижу, как она сжимает ее большую скуловую мышцу, приподнимая уголки ее рта, и ее orbicularis oculi, сморщивая внешние уголки ее глаз. Она улыбается, и я делаю вывод, что она приветствует меня еще до того, как она произносит слово «привет». Но сегодня многие социальные обмены происходят без непосредственного общения в реальном времени. Вот куда приходят Эль Калиуби и ее компания.
Эль Калиоби, которому 37 лет, часто улыбается. У нее круглое, приятное, выразительное лицо и заботливая манера поведения, что противоречит ее положению соучредителя быстрорастущего технологического стартапа - анти-Безос, не-Цукерберг. Ее компания Affectiva, которую она основала в 2009 году вместе с тогдашним коллегой по MIT Media Lab Розалинд Пикард, занимает позицию на переднем крае технологий использования компьютеров для обнаружения и интерпретации выражений человеческого лица. Эта область, известная как «аффективные вычисления», стремится сократить разрыв в общении между людьми и машинами, добавив новый способ взаимодействия, включая невербальный язык улыбок, ухмылок и поднятых бровей. «Предпосылка того, что мы делаем, заключается в том, что эмоции важны», - говорит эль Калиуби. «Эмоции не нарушают наше рациональное мышление, а направляют и информируют его. Но они отсутствуют в нашем цифровом опыте. Ваш смартфон знает, кто вы и где вы находитесь, но он не знает, что вы чувствуете. Мы стремимся это исправить ».
Почему ваш смартфон должен знать, как вы себя чувствуете? У El Kaliouby есть множество ответов, и все они основаны на, казалось бы, безграничной интеграции компьютеров в повседневную жизнь. Она представляет «технологию управления освещением, температурой и музыкой в наших домах в зависимости от нашего настроения» или приложения, которые могут адаптировать контент фильма на основе вашей подсознательной реакции на него во время просмотра. Она представляет программы, которые могут контролировать ваше выражение лица во время движения и предупреждать о невнимательности, сонливости или гневе. Она улыбается при упоминании своей любимой идеи - «холодильника, который может почувствовать, когда вы в стрессе и запирает мороженое».
В частности, она считает, что Affectiva и технологии, которые она помогает вывести в мейнстрим, станут благом для здравоохранения. Исследователь, тестирующий новое лекарство, или терапевт, лечащий пациента, получает обратную связь только через определенные промежутки времени, с учетом всех проблем самоотчетов - например, бессознательного желания угодить врачу или выборочного отзыва, который благоприятствует самым последним воспоминаниям., El Kaliouby представляет программу, работающую на заднем плане ноутбука или телефона субъекта, которая может составлять мгновенную запись его или ее настроения в течение определенного периода времени (день, месяц) и соотносить его с время или что-то еще, что ваше устройство может измерить или отслеживать. «Это даже не должно быть частью программы лечения», - размышляет она. «Вы могли бы просто иметь его на своем телефоне, и он говорит вам, что каждый раз, когда« Х »звонит, у вас появляется негативное выражение, и это говорит вам о том, чего вы, возможно, не знали».
Подпишитесь на журнал Smithsonian сейчас всего за $ 12
Эта история - отбор из декабрьского номера журнала Smithsonian.
купитьEl Kaliouby продвигает аффективные вычисления как логический следующий шаг в переходе от клавиатуры к мыши к сенсорному экрану и распознаванию голоса. Весной Affectiva выпустила свой первый коммерческий комплект для разработки программного обеспечения, который разработчики, заинтересованные в эмоциональных состояниях пользователей в режиме реального времени, могут включать в свои собственные программы - например, музыкальные проигрыватели, игровые приложения или приложения для знакомств. И только этой осенью Affectiva запустила Emotion As a Service, облачную программу, в которую клиенты могут загружать видео для анализа. Кто может использовать это? Кандидат, который должен пройти собеседование для получения работы, который беспокоится о том, чтобы казаться взволнованным, скучающим или даже слишком улыбающимся. Или авиакомпания, нанимающая стюардесс, с сотнями видеоприложений, которые нужно перебрать в поисках тех, кто может убедительно улыбаться, когда прощается с пассажирами. (Настоящая улыбка, которая включает сокращение мышц в уголках глаз, называется улыбкой Дюшенна, названной в честь анатома 19-го века; напротив, вынужденная улыбка, использующая только рот, на самом деле иногда называется «Pan Am» улыбкой.)
И, конечно же, все устройства, на которых установлено это программное обеспечение, подключены к Интернету, поэтому собираемая ими информация мгновенно объединяется, просеивается и объединяется в сеть, что позволяет приложениям социальных сетей идентифицировать популярные темы или личностей. Возможно, он составлен в нечто вроде Индекса настроения Affectiva, числового показателя общего счастья нации, или разбит на регионы, где в настоящее время наблюдаются улыбки или недовольство.
Основная программа Affectiva анализирует лицо 20 раз в секунду для 46 локализованных выражений счастья, грусти, удивления, страха, гнева, отвращения и презрения, плюс интерес и растерянность. (Наоми Шавин / Смитсоновский институт) До сих пор основными клиентами Affectiva были рекламные, маркетинговые и медийные компании. Его программное обеспечение автоматизирует процесс работы фокус-группы, громоздкий ритуал, когда дюжина людей собирается в комнате, чтобы высказать свое мнение о новом продукте, сериале или рекламной кампании; он записывает реакции напрямую, без участия участника в наборе номера или ответа на вопросник в ответ на презентацию. Более того, программное обеспечение расширяет потенциальную фокус-группу на весь мир или, по крайней мере, на значительную его часть, у которой есть компьютер с поддержкой веб-камеры или мобильное устройство.
Обратная связь от неустанного, всевидящего ока Affectiva помогла сформировать комедию сетевого телевидения, заставив двух героев забыть о грехе, который не заставлял зрителей улыбаться. (El Kaliouby не опознает шоу или персонажей.) Его программное обеспечение использовалось для создания «сэмплера улыбки», машины, которая распределяла конфеты для покупателей, которые улыбались в его камеру. С учетом дополнительных исследований это может быть полезно для наблюдения за толпой в аэропортах или для выявления потенциальных магазинных воров, или в качестве детектора лжи.
Но el Kaliouby сопротивлялся этим скрытым заявлениям, какими бы прибыльными они ни были. Она считает, что аффективные вычисления изменят мир, включая, но не ограничиваясь, продажу конфет. «Идея нашей компании, - говорит она, - состоит в том, чтобы использовать эту технологию, чтобы улучшить жизнь людей и помочь им лучше общаться, а не просто помогать рекламодателям продавать больше продуктов».
**********
В отличие от многих технических предпринимателей, разбогатеть не входило в первоначальную повестку дня Эль Калиоби. Родившись в Каире от египетских родителей, которые оба работают в области технологий, она изучала информатику в Американском университете в Каире, где она закончила в 1998 году, и в то время компьютеры становились достаточно мощными, чтобы исследователи могли думать о том, чтобы наделить их тем, что в человеческом смысле является называется эмоциональный интеллект.
Она продолжала изучать информатику в Университете Кембриджа, прибыв сразу после нападений на Америку 11 сентября 2001 года. Ее родители думали, что она рискует быть арестованной, подвергаться преследованиям или еще хуже из-за своего наследия. Но хотя она носила мусульманские головные уборы еще пару лет назад, ни в Кембридже, Англия, ни в Кембридже, штат Массачусетс, куда она переехала в 2006 году, чтобы присоединиться к MIT Media Lab, ее никогда не волновала ее религия или внешность., «Я думаю, это потому, что я много улыбаюсь», - говорит она, улыбаясь.
Французский анатом Дюшенн опубликовал знаковые исследования выражений лица человека. (Изображения Бриджмена) Находясь в Кембридже, она заинтересовалась проблемой аутизма, особенно трудностями, с которыми сталкиваются дети-аутисты при чтении выражений лица. Она предложила создать «эмоциональный слуховой аппарат», который можно было бы носить, чтобы читать лица и подсказывать владельцу соответствующее поведение. Сначала она была отклонена за грант Национального научного фонда на том основании, что проект был слишком сложным, она и ее коллеги создали прототип, состоящий из пары очков, оснащенных крошечной камерой, мигающими огнями и наушниками, что мало чем отличается от этого. ранняя версия Google Glass. Вторая заявка на получение гранта была успешной, и после того, как она переехала в Массачусетский технологический институт, она и ее команда работали в течение следующих трех лет, чтобы усовершенствовать и протестировать его в школе в Род-Айленде. Эль Калиоби описывает его как «исследовательский и успешный проект» - у детей-аутистов, которые использовали его, был чрезвычайно положительный опыт, но в 2008 году, когда грант закончился, она столкнулась с моментом расплаты. Коммерческий интерес к аффективным вычислениям рос, и она хотела, чтобы он расширился и процветал; прилагая усилия к разработке очков, можно было бы ограничить их потенциальным использованием. Так что вместе с Пикардом она отключила Affectiva, надеясь, что другая компания поднимет эмоциональный слуховой аппарат и выведет его на рынок.
Когда Affectiva была сформирована, горстка «членов команды», которые составляли компанию, каждый выбрал ценность, которую они хотели воплотить, такую как «обучение» или «социальная ответственность» или «развлечение». Ее, как главного стратега и научного сотрудника, Это была «страсть». Компания из 20 человек управляется как квазидемократия, с полугодовыми собраниями, на которых сотрудники голосуют за приоритеты, которые необходимо реализовать в течение следующих шести месяцев. В ее офисе есть доска с рисунками молодой дочери одного из ее коллег; у нее есть 6-летний сын Адам и 12-летняя дочь Яна, которые живут с ней в пригороде Бостона (их отец живет в Египте). Ее манера мягкая и внимательная; Через час после утренней встречи она предлагает заказать бутерброд для посетителя, хотя сама она пропускает обед. «Это Рамадан для меня, - говорит она, улыбаясь, - но это не Рамадан для вас».
Она садит посетителей за письменный стол перед монитором и веб-камерой; программное обеспечение находит лицо посетителя и рисует рамку вокруг него на экране. Он определяет набор точек для отслеживания: уголки глаз и рта, кончик носа и так далее. Двадцать раз в секунду программное обеспечение ищет «единицы действия», часто мимолетную игру мышц на лице. В соответствии со стандартной системой классификации, системой кодирования лицевых действий (FACS), их 46. Они включают в себя внутренние и внешние брови, димплеры, моргания, подмигивания и морщинистые губы, воронки, прессоры и отстой. Стандартная программа Affectiva собирает около 15 из них в любое время и анализирует их на предмет выражения семи основных эмоций: счастья, грусти, удивления, страха, гнева, отвращения и презрения, плюс интерес и растерянность. Улыбнитесь, и вы увидите, как мера счастья взлетает; скривите губу в насмешке, и программа заметит ваше отвращение.
Или, точнее, ваше выражение отвращения. Вся предпосылка аффективных вычислений основывается на том, что является прыжком веры, что улыбка передает чувство счастья, или удовольствия, или развлечения. Конечно, люди находятся в одинаковом положении: нас могут одурачить ложной улыбкой или притворным гневом, поэтому мы не можем ожидать большего от компьютерной программы, по крайней мере, пока.
Со временем Affectiva создала архив из более чем трех миллионов видеозаписей лиц, загруженных пользователями Интернета из примерно 75 стран мира. Сотни тысяч из них были проанализированы обученными наблюдателями и кодированы для подразделений действий FACS - это грандиозное мероприятие, поскольку продолжительность видео составляет около 45 секунд, а обработка каждого из них занимает в пять раз больше времени. Результаты от человеческих кодеров, в свою очередь, были использованы для «обучения» алгоритмов компании, которые обрабатывали все остальное в режиме реального времени. В настоящее время вся база данных содержит около 40 миллиардов «точек эмоциональных данных», которыми гордится el Kaliouby, который отличает Affectiva от других компаний в той же области, таких как Emotient из Калифорнии, возможно, его ближайший конкурент.
(Диаграмма: 5W Инфографика; Источник: Дэниел Макдафф, MIT Media Lab, Affectiva) Даниэль Макдафф, который присоединился к Affectiva из MIT Media Lab и является директором по исследованиям, постоянно изучает этот поиск, чтобы получить дополнительную информацию о выражении эмоций. Как они различаются по возрасту, полу и культуре? (Возможно, удивительно, что McDuff обнаружил, что пожилые люди более выразительны, особенно положительных эмоций, чем молодые.) Можем ли мы надежно измерить презрение, смущение, скуку, беспокойство? Когда борозда бровей сигнализирует о путанице, а когда указывает на концентрацию? Как мы можем отличить выражение страха от выражения удивления? (Подсказка: блок действий 1, «внутренний бровей», является маркером страха; блок действий 2, «внешний бровей», указывает на удивление.) Он говорит, что есть все основания полагать, что программа будет продолжена чтобы лучше выявлять выражения (хотя это никогда не может полностью преодолеть самое большое препятствие из всех: ботокс).
По моей просьбе МакДафф подарил программе одну из самых классических проблем обнаружения эмоций - Мона Лиза, чья загадочная квази-улыбка заинтриговала зрителей на протяжении 500 лет. С оговоркой, что программное обеспечение лучше всего работает с изменяющимися выражениями, а не со статическими изображениями, он сообщил, что не обнаружил никаких свидетельств подлинной улыбки Ла Джоконды, а, скорее, какую-то комбинацию действий 28 (скатывание губ) и 24 (прижатые губы), возможно, предполагает некоторый уровень дискомфорта.
**********
«Сейчас я разговариваю с вами, - говорит эль Калиуби, - и наблюдаю за вами, чтобы оценить ваш интерес к тому, что я говорю. Должен ли я замедлить и объяснить больше? Должен ли я перейти к другой теме? Теперь представьте, что я провожу вебинар для большой группы, которую я не вижу и не слышу. Я не получаю обратной связи, нет никакого способа узнать, сработала ли шутка или не сработала, если люди заняты или скучают. Разве не было бы замечательно получать эти отзывы в реальном времени, агрегированные, от момента к моменту, пока я иду вперед? »
Она играет рекламный ролик о Jibo, «социальном роботе», доступном для предварительного заказа на веб-сайте краудфандинга Indiegogo, разработанном бывшей коллегой MIT Синтией Бризил. Похожий на высокотехнологичную лавовую лампу, Джибо сидит на столе и просматривает окружение, идентифицируя людей лицом к лицу и взаимодействуя с ними - передавая сообщения, отправляя напоминания, совершая обычные телефонные звонки, даже общаясь в чате. Это еще одно потенциальное приложение для программного обеспечения Affectiva - компании ведут переговоры - и это «очень захватывающая перспектива», говорит эль Калиоби.
Одни возбуждают, но перспектива роботов для обработки эмоций тревожит других. Шерри Теркл, которая долго изучала, как люди относятся к компьютерам, предупреждает в своей новой книге « Возвращение к разговору: сила разговоров в цифровую эпоху» о «роботизированном моменте», когда машины начинают заменять человеческое общение. Туркле считает, что такие ученые, как Эль Калиуби и ее команда, могут делать то, что, по их словам, они будут делать. «Это все блестящие, одаренные люди, которые делают блестящую работу», - говорит она. И она согласна с тем, что в определенных контекстах - в опасных средах, таких как космическое пространство или вокруг тяжелой техники, где вы хотите задействовать все возможные способы общения - аффективные вычисления играют свою роль. «Но следующий шаг, - говорит она, - совсем не идет». Следующий шаг, давайте сделаем друга роботом. Я брал интервью у родителей, которые счастливы, что их дети разговаривают с Сири, и я думаю, что это не ведет нас по пути, по которому мы хотим идти. Мы определяем себя как людей, с которыми мы общаемся, и для меня нет смысла формировать у вас чувство собственного достоинства по отношению к машине. Зачем тебе компьютер знать, грустишь ли ты?
Даже эль Калиуби склонна согласиться с тем, что «мы проводим больше времени, чем мы должны с нашими устройствами», имея в виду, естественно, ее предподростковую дочь, чей взгляд фиксируется на экране ее смартфона.
Но она считает тенденцию к все более широкому соединению необратимой, и она считает, что, хотя пользователи должны всегда принимать в этом участие, мы могли бы также извлечь из этого выгоду. Она предсказывает, что у наших устройств будет «эмоциональный чип и набор приложений, которые используют его таким образом, чтобы добавить в нашу жизнь достаточную ценность, которая перевешивает озабоченность людей при обмене этими данными». Она проводит аналогию с устройствами GPS: эффективные вычисления могут Помогите нам ориентироваться в эмоциональном пространстве так же, как телефонные приложения помогают нам передвигаться в физическом пространстве. «Все беспокоились о устройствах определения местоположения, когда они только появились, они вторгались в нашу частную жизнь, они постоянно отслеживали нас», - говорит она. «Только сейчас мы все потерялись бы без Google Maps на наших телефонах. Я думаю, что это будет то же самое ».
**********
