https://frosthead.com

Тест Тьюринга измеряет что-то, но это не «интеллект»

Алан Тьюринг, один из отцов компьютерного века, был необычайно умным человеком. На самом деле настолько умный, что понял, что термин «машинный интеллект» почти ничего не значит. Лучше, рассуждал он, говорить о том, что на самом деле может делать машина: может ли она говорить? Может ли это сдержать разговор? По крайней мере, это то, что мы можем попытаться изучить. В конце концов Тьюринг предложил так называемый «тест Тьюринга»: если судья не может сказать, какая из двух скрытых сущностей является человеком, а какая - искусственной, машина «прошла» тест, и это именно то, что Говорят, что это произошло в прошлую субботу в Лондоне.

Связанный контент

  • Силиконовая долина обязана своим успехом этому техническому гению, о котором вы никогда не слышали
  • 60-летний прогноз Алана Тьюринга о закономерностях в природе подтвердился

«Мы ... с гордостью заявляем, что тест Алана Тьюринга был пройден впервые», - сказал один из организаторов, Кевин Уорик из Университета Рединга, когда были объявлены результаты. Победившего чат-бота зовут «Юджин Густман», компьютерная программа, которая имитирует личность 13-летнего украинского мальчика. «Евгению» удалось убедить 33 процента судей в том, что он был человеком на субботнем мероприятии, которое состоялось в офисе Королевского общества в Лондоне в 60-ю годовщину смерти Тьюринга. (Тьюринг, гомосексуалист, был осужден за грубую непристойность в 1952 году, и ему было приказано пройти гормональное «лечение» в рамках соглашения о признании вины. Два года спустя он умер от отравления цианидом в результате очевидного самоубийства.)

Но слово предостережения в порядке. «Интеллект» всегда был скользким предметом, и тест Тьюринга, в частности, давно был полон противоречий. Тьюринг описал, как это будет работать в газете 1950 года под названием «Вычислительная техника и интеллект». Он взял идею из традиционной викторианской игровой комнаты, где вы пытаетесь понять, является ли человек, спрятанный за занавесом, мужчиной или женщиной, просто задавая вопросы. (Ответы на вопросы нужно было записать, потому что голос был бы бесплатной.) Вот как работает версия Тьюринга: у вас будет судья, сидящий перед двумя занавесками, без возможности узнать, что за ними стоит, За одной занавеской находится человек; за другим - компьютер. Судья может задавать вопросы любому из двух скрытых лиц. На основании полученных ответов судья пытается выяснить, является ли скрытая сущность человеком или машиной. (Тьюринг предполагал, что разговор будет проходить при помощи телетайпов; сегодня мы можем использовать любой вид электронного текстового интерфейса, например, тот, который используется в интернет-чатах или для обмена мгновенными сообщениями.)

Тьюринг предположил, что к 2000 году «средний следователь не будет иметь более 70 процентов шансов сделать правильную идентификацию», то есть компьютерные программы будут мешать судьям 30 процентов времени - после пяти минут допроса. «Пять минут» важны. Тьюринг не говорил о том, что ограничение по времени является неотъемлемой частью теста, и можно утверждать, что для того, чтобы машина действительно прошла тест, она должна быть в состоянии справиться с любым количеством вопросов. Предположительно, пятиминутные критерии были произвольным, но необходимым ограничением. Наступил и ушел 2000 год, когда чат-боты только останавливались. (В более трезвый момент, отвечая на вопрос интервьюера BBC в 1952 году, Тьюринг сказал, что пройдет 100 лет, прежде чем машина пройдет испытание.)

Еще в 2012 году я был судьей в «марафоне Тьюринга» - самом большом в истории наборе тестов Тьюринга; он проводился в Блетчли-Парке, в Англии, на месте жизненно важной работы Тьюринга в последние годы Второй мировой войны. (Он был организован той же командой, которая проводила субботнее мероприятие, и более ранняя версия «Юджина» тоже была победителем в то время.) Подготовка к субботнему мероприятию была такой же, как и в 2012 году: судьи печатали свои вопросы на компьютере. затем дождался ответов на своих экранах; чат-боты вместе со «скрытыми людьми» были в другой комнате, вне поля зрения.

Первое, о чем я задумалась, это то, что, когда вы судите тест Тьюринга, пять минут проходят довольно быстро. И чем короче разговор, тем больше преимущество компьютера; чем дольше допрос, тем выше вероятность того, что компьютер выдаст себя. Мне нравится называть это эффектом манекена: вы когда-нибудь извинялись перед манекеном универмага, предполагая, что вы только что наткнулись на живого человека? Если встреча длится всего доли секунды, когда вы обращаетесь в другую сторону, вы можете себе представить, что вы только что соприкоснулись с человеком. Чем дольше встреча, тем очевиднее манекен манекена.

То же самое и с чатботами. Обмен приветами ничего не раскрывает - но чем дальше вы углубляетесь, тем больше проблем возникает. Я обнаружил, что чат-боты склонны менять тему без причины. Часто они не могут ответить на простые вопросы. С риском звучать расплывчато, они просто не звучат по-человечески . В одном из моих разговоров в 2012 году я набрал простую шутку - и сущность, с которой я разговаривал, сразу же сменила тему на гамбургеры. (У ученого-компьютерщика Скотта Ааронсона недавно был похожий опыт, когда он беседовал с Юджином через сайт бота. Ааронсон спросил Юджина, сколько у верблюда ног; он ответил: «Что-то между 2 и 4. Может быть, три? :-)))» Позже, когда Ааронсон спросил, сколько ног у муравья, Юджин кашлянул точно таким же ответом, с тройным смайликом и все такое.)

Обратите внимание, что Юджин не подражает англоязычному взрослому; он притворяется молодым и немного легкомысленным украинским подростком, разговаривающим на достаточно хорошем (но далеко не идеальном) английском. Как рассказал Mashable.com один из разработчиков программы Владимир Веселов: «Мы потратили много времени на разработку персонажа с правдоподобной личностью». Хотя Евгений будет привлекать кого-либо на любую тему, его возраст «делает совершенно разумным, что он не не знаю всего ». Юджин не выходит прямо и не объявляет свой возраст и национальность; но он откроет это, если его спросят - и конечным результатом может быть определенная снисходительность со стороны судей, особенно в отношении грамматики английского языка и использования слов. (Я предполагаю, что большинство судей в субботу были носителями английского языка, хотя я не знаю этого наверняка.) Таблицы, вероятно, были бы перевернуты, если бы Юджин когда-либо встретился с носителем украинского языка в качестве судьи.

Борьба за создание говорящей машины подчеркивает, насколько сложен язык. Это не просто вопрос разговора - вы должны говорить о чем-то, и то, что вы говорите, должно иметь смысл - и это должно иметь смысл в контексте того, что только что сказал другой человек . Для нас это просто; для компьютеров не так уж и много. Таким образом, чат-боты полагаются на ряд хитростей: запоминание мегабайтов готовых ответов или поиск в Интернете диалогов, которые могут приблизиться к разговору, в котором они сейчас находятся. Другими словами, то, что машине не хватает интеллекта, может компенсировать необработанные вычислительные мощности. Вот почему Google или Siri (личный помощник iPhone) могут показаться нам такими умными: у Siri, возможно, нет «ума», но у него есть доступ к такой обширной базе данных, он может действовать так, как если бы он это делал. Это был тот же самый метод грубой силы, который позволил «Уотсону» из IBM победить в Jeopardy! в 2011.

Все это поднимает важный вопрос: что именно измеряет тест Тьюринга? Некоторые критики полагают, что это обман, а не интеллект. Психолог Нью-Йоркского университета Гари Маркус, пишущий на NewYorker.com, говорит, что Юджин преуспевает, «выполняя серию« уловок », предназначенных для маскировки ограничений программы». Стивен Харнад, психолог и ученый в университете Квебека в Монреале, был еще более скептически, говоря The Guardian, что «полная ерунда» утверждать, что Юджин прошел тест Тьюринга. (К его чести, Тьюринг хорошо знал об этой проблеме; он назвал свою идею «имитацией игры» и говорил об интеллекте лишь скупо.) Еще более неловко, что компьютер, в отличие от человека, вынужден обманывать. «Тест Тьюринга - это действительно проверка успешности лжеца», - сказал мне Пэт Хейс, специалист по информатике из Института человеческого и машинного познания в Пенсаколе, штат Флорида, после тестового марафона Тьюринга 2012 года. «Если бы у вас было что-то, что действительно могло бы пройти имитационную игру Тьюринга, это было бы очень успешным« человеческим подражанием »».

А «человек» - это другой ключевой момент: разве не возможно, что в мире существуют другие виды интеллекта, помимо того, который демонстрирует наш вид? По-настоящему интеллектуальная машина будет иметь множество практических применений, но зачем концентрироваться на создании большего количества «людей»? Ведь у нас уже много людей. Как отметил лингвист Ноам Хомский, когда мы стремимся построить машину, которая движется под водой, нам не требуется, чтобы она «плавала» - и подводная лодка является не меньшим достижением для ее неспособности сделать удар на спине.

Да, Евгений впечатляет, по крайней мере, небольшими очередями. И все же, даже самые лучшие чат-боты натыкаются на вопросы, которые ребенок, наполовину вымышленный, мог легко решить. Возможно, неудивительно, что большинство исследователей ИИ тратят мало времени на одержимость тестом Тьюринга. Фактически, машинный интеллект движется вперед и довольно быстро. Программное обеспечение для голосового перевода, которое несколько лет назад было довольно жалким, быстро совершенствуется, как и программы языкового перевода. У Amazon часто есть довольно хорошее представление о том, что вы хотите купить, даже до того, как вы это сделаете. А машина Google с автоматическим управлением была бы просто фантазией десять лет назад. Но разговор, который мы продолжаем открывать, очень труден, и вряд ли он станет той границей, в которой ИИ светит наиболее ярко. На данный момент, если вы ищете кого-то, с кем можно пообщаться, я рекомендую настоящего человека.

Дэн Фальк - научный журналист из Торонто.

Тест Тьюринга измеряет что-то, но это не «интеллект»