Все слышали о новых достижениях в области искусственного интеллекта и особенно машинного обучения. Вы также слышали утопические или апокалиптические прогнозы о том, что означают эти достижения. Они были приняты, чтобы предсказать либо бессмертие, либо конец света, и многое было написано об обеих этих возможностях. Но самые совершенные ИИ все еще далеки от того, чтобы решать проблемы, с которыми люди четырехлетнего возраста легко справляются. Несмотря на впечатляющее название, искусственный интеллект в основном состоит из методов обнаружения статистических закономерностей в больших наборах данных. В человеческом обучении есть гораздо больше.
Как мы можем так много знать о мире вокруг нас? Мы учим огромное количество, даже когда мы маленькие дети; четырехлетние дети уже знают о растениях, животных и машинах; желания, убеждения и эмоции; даже динозавры и космические корабли.
Наука расширила наши знания о мире до невообразимо большого и бесконечно малого, до края вселенной и начала времени. И мы используем эти знания, чтобы делать новые классификации и прогнозы, воображать новые возможности и делать что-то новое в мире. Но все, что достигает любого из нас от мира, - это поток фотонов, поражающий наши сетчатки и возмущения воздуха в наших барабанных перепонках. Как мы можем так много узнать о мире, когда имеющиеся у нас доказательства настолько ограничены? И как мы можем сделать все это с помощью нескольких фунтов серой слизи, которая сидит за нашими глазами?
Наилучшим ответом на данный момент является то, что наш мозг выполняет вычисления на конкретных, конкретных, беспорядочных данных, поступающих в наши органы чувств, и эти вычисления дают точные представления о мире. Представления кажутся структурированными, абстрактными и иерархическими; они включают в себя восприятие трехмерных объектов, грамматику, лежащую в основе языка, и умственные способности, такие как «теория ума», которая позволяет нам понять, что думают другие люди. Эти представления позволяют нам делать широкий спектр новых предсказаний и воображать много новых возможностей уникальным творческим способом.
Этот вид обучения - не единственный вид интеллекта, но он особенно важен для людей. И это тот тип интеллекта, который является специальностью маленьких детей. Хотя дети крайне плохо умеют планировать и принимать решения, они являются лучшими учениками во вселенной. Большая часть процесса превращения данных в теории происходит до того, как нам исполнится пять лет.
Со времен Аристотеля и Платона было два основных способа решения проблемы того, как мы знаем то, что мы знаем, и они по-прежнему являются основными подходами в машинном обучении. Аристотель подошел к проблеме снизу вверх: начните с чувств - потока фотонов и колебаний воздуха (или пикселей, или образцов звука цифрового изображения или записи) - и посмотрите, сможете ли вы извлечь из них шаблоны. Этот подход был продолжен такими классическими ассоциативистами, как философы Дэвид Хьюм и Дж. С. Милль, а затем поведенческими психологами, такими как Павлов и Б. Ф. Скиннер. С этой точки зрения абстрактность и иерархическая структура представлений является чем-то вроде иллюзии или, по крайней мере, эпифеноменом. Вся работа может быть выполнена путем ассоциации и обнаружения паттернов, особенно если данных достаточно.
Возможные умы: 25 способов смотреть на ИИ
Световед научного мира Джон Брокман собирает двадцать пять наиболее важных научных умов, людей, которые большую часть своей карьеры думали о полевом искусственном интеллекте, для беспрецедентного круглого стола, посвященного разуму, мышлению, интеллекту и тому, что это значит для Будьте человеком.
купитьСо временем возникли колебания между подходом «снизу вверх» к тайне обучения и альтернативой Платона, «сверху вниз». Возможно, мы получаем абстрактные знания из конкретных данных, потому что мы уже знаем много, и особенно потому, что у нас уже есть множество базовых абстрактных концепций, благодаря эволюции. Как и ученые, мы можем использовать эти понятия для формулирования гипотез о мире. Затем, вместо того, чтобы пытаться извлечь шаблоны из необработанных данных, мы можем делать прогнозы о том, как должны выглядеть данные, если эти гипотезы верны. Наряду с Платоном, такие «рационалистические» философы и психологи, как Декарт и Ноам Хомский, приняли этот подход.
Вот пример из повседневной жизни, который иллюстрирует разницу между этими двумя методами: решение проблемы спама. Данные состоят из длинного несортированного списка сообщений в вашем почтовом ящике. Реальность такова, что некоторые из этих сообщений являются подлинными, а некоторые являются спамом. Как вы можете использовать данные, чтобы различать их?
Сначала рассмотрим восходящую технику. Вы замечаете, что спам-сообщения, как правило, имеют определенные особенности: длинный список адресатов, происхождение из Нигерии, ссылки на призы в миллион долларов или виагра. Проблема в том, что эти полезные сообщения могут иметь и эти функции. Если вы посмотрели достаточно примеров спама и не спама, вы можете увидеть не только то, что спам-сообщения обычно имеют эти функции, но и то, что эти функции, как правило, сочетаются друг с другом (Нигерия плюс миллион долларов - это проблема). На самом деле, могут существовать некоторые тонкие корреляции более высокого уровня, которые отличают спам-сообщения от полезных - скажем, определенная схема орфографических ошибок и IP-адресов. Если вы обнаружите эти шаблоны, вы можете отфильтровать спам.
Восходящие методы машинного обучения делают именно это. Учащийся получает миллионы примеров, каждый из которых имеет определенный набор функций и каждый помечен как спам (или какая-то другая категория) или нет. Компьютер может извлечь набор функций, которые различают два, даже если он довольно тонкий.
Как насчет подхода сверху вниз? Я получаю письмо от редактора журнала клинической биологии . Это относится к одной из моих статей и говорит, что они хотели бы опубликовать мою статью. Ни Нигерии, ни Виагры, ни миллиона долларов; электронная почта не имеет каких-либо особенностей спама. Но используя то, что я уже знаю, и абстрактно размышляя о процессе, производящем спам, я могу понять, что это письмо подозрительно:
1. Я знаю, что спамеры пытаются добывать деньги у людей, обращаясь к человеческой жадности.
2. Я также знаю, что законные журналы «открытого доступа» начали покрывать свои расходы, взимая плату с авторов, а не с подписчиков, и что я не практикую ничего подобного клинической биологии.
Соберите все это вместе, и я смогу выдвинуть новую гипотезу о том, откуда пришло это письмо. Он предназначен для того, чтобы научить академиков платить за «публикацию» статьи в фальшивом журнале. Письмо было результатом того же сомнительного процесса, что и другие спам-письма, даже если они не были похожи на них. Я могу сделать этот вывод только из одного примера, и я могу продолжить проверку своей гипотезы, помимо всего, что есть в самом письме, путем поиска в «редакторе».
В компьютерных терминах я начал с «генеративной модели», которая включает в себя абстрактные понятия, такие как жадность и обман, и описывает процесс, который производит мошенничество с электронной почтой. Это позволяет мне распознать классический нигерийский почтовый спам, но также позволяет представить различные виды возможного спама. Когда я получаю электронное письмо из журнала, я могу работать в обратном направлении: «Это похоже на тот тип почты, который может появиться в процессе генерации спама».
Новое волнение об ИИ происходит потому, что исследователи ИИ недавно создали мощные и эффективные версии обоих этих методов обучения. Но в самих методах нет ничего нового.
Глубокое обучение снизу вверх
В 1980-х годах ученые-компьютерщики разработали оригинальный способ заставить компьютеры обнаруживать закономерности в данных: коннекционистскую или нейросетевую архитектуру («нейронная» часть была и остается метафорической). Этот подход пришел в упадок в 1990-х годах, но недавно был восстановлен с помощью мощных методов «глубокого обучения», таких как Google DeepMind.
Например, вы можете дать программе глубокого обучения набор изображений в Интернете с надписью «кошка», другие с пометкой «дом» и так далее. Программа может обнаружить шаблоны, различающие два набора изображений, и использовать эту информацию для правильной маркировки новых изображений. Некоторые виды машинного обучения, называемые обучением без учителя, могут обнаруживать закономерности в данных без каких-либо меток; они просто ищут группы особенностей - то, что ученые называют факторным анализом. В машинах глубокого обучения эти процессы повторяются на разных уровнях. Некоторые программы могут даже обнаружить соответствующие функции из необработанных данных пикселей или звуков; компьютер может начать с обнаружения рисунков в необработанном изображении, которые соответствуют ребрам и линиям, а затем найти рисунки в тех рисунках, которые соответствуют граням и т. д.
Другой восходящий метод с длинной историей - это обучение с подкреплением. В 1950-х годах Б.Ф. Скиннер, опираясь на работу Джона Уотсона, классно запрограммировал голубей на выполнение сложных действий - даже направляя ракеты воздушного базирования к своим целям (тревожное эхо недавнего ИИ), предоставляя им определенный график поощрений и наказаний., Основная идея заключалась в том, что поощряемые действия будут повторяться, а наказанные - нет, пока не будет достигнуто желаемое поведение. Даже во времена Скиннера этот простой процесс, повторяющийся снова и снова, может привести к сложному поведению. Компьютеры предназначены для многократного выполнения простых операций в масштабе, который затмевает человеческое воображение, и вычислительные системы могут таким образом выучить удивительно сложные навыки.
Например, исследователи из Google DeepMind использовали комбинацию глубокого обучения и обучения подкреплению, чтобы научить компьютер играть в видеоигры Atari. Компьютер ничего не знал о том, как работают игры. Он начинал действовать случайным образом и получал информацию только о том, как экран выглядел в каждый момент и как хорошо он набрал очки. Глубокое обучение помогло интерпретировать функции на экране, а дополнительное обучение вознаградило систему за более высокие оценки. Компьютер очень хорошо играл в некоторые игры, но он также полностью бомбил другие, которые людям было так легко освоить.
Подобная комбинация глубокого обучения и обучения с подкреплением позволила добиться успеха AlphaZero DeepMind, программы, которая смогла победить людей-игроков как в шахматах, так и в го, оснащенных только базовыми знаниями правил игры и некоторыми способностями планирования. У AlphaZero есть еще одна интересная особенность: он работает, играя в сотни миллионов игр против самого себя. При этом он обрезает ошибки, которые привели к потерям, и он повторяет и разрабатывает стратегии, которые привели к победам. Такие системы и другие, использующие методы, называемые генеративными состязательными сетями, генерируют данные, а также данные наблюдений.
Когда у вас есть вычислительные возможности для применения этих методов к очень большим наборам данных или миллионам сообщений электронной почты, изображений в Instagram или голосовых записей, вы можете решать проблемы, которые раньше казались очень сложными. Это источник большей части азарта в информатике. Но стоит помнить, что эти проблемы - например, признание того, что изображение - это кошка, или произнесенное слово - Сири, - тривиальны для человеческого малыша. Одним из наиболее интересных открытий в области компьютерных наук является то, что проблемы, которые нам легко (например, выявить кошек), сложны для компьютеров - гораздо сложнее, чем играть в шахматы или го. Компьютерам нужны миллионы примеров для классификации объектов, которые мы можем классифицировать только несколькими. Эти восходящие системы могут обобщать на новые примеры; они могут довольно точно обозначить новое изображение как кошку. Но они делают это совершенно иначе, чем люди обобщают. Некоторые изображения, почти идентичные изображению кошки, вообще не будут идентифицироваться нами как кошки. Другие, которые выглядят как случайные размытия, будут.
Нисходящие байесовские модели
Нисходящий подход сыграл большую роль в раннем искусственном интеллекте, и в 2000-х годах он также пережил возрождение в форме вероятностных или байесовских генеративных моделей.
Первые попытки использовать этот подход столкнулись с двумя видами проблем. Во-первых, большинство шаблонов доказательств в принципе могут быть объяснены многими различными гипотезами: возможно, что мое электронное почтовое сообщение в журнале является подлинным, оно просто не представляется вероятным. Во-вторых, откуда вообще берутся концепции, которые используют генеративные модели? Платон и Хомский сказали, что ты родился с ними. Но как мы можем объяснить, как мы изучаем новейшие концепции науки? Или как даже маленькие дети понимают динозавры и ракетные корабли?
Байесовские модели сочетают генеративные модели и проверку гипотез с теорией вероятностей, и они решают эти две проблемы. Байесовская модель позволяет рассчитать, насколько вероятно, что конкретная гипотеза верна, учитывая данные. И делая небольшие, но систематические изменения в моделях, которые у нас уже есть, и проверяя их по данным, мы иногда можем создавать новые концепции и модели из старых. Но эти преимущества компенсируются другими проблемами. Байесовские методы могут помочь вам выбрать, какая из двух гипотез более вероятна, но почти всегда существует огромное количество возможных гипотез, и ни одна система не может эффективно рассмотреть их все. Как вы решаете, какие гипотезы стоит проверить в первую очередь?
Бренден Лэйк из Нью-Йоркского университета и его коллеги использовали эти виды нисходящих методов для решения другой проблемы, которая проста для людей, но чрезвычайно сложна для компьютеров: распознавание незнакомых рукописных символов. Посмотрите на персонажа на японском свитке. Даже если вы никогда не видели этого раньше, вы, вероятно, можете сказать, похож ли он или отличается от персонажа на другом японском свитке. Вы, вероятно, можете нарисовать его и даже создать поддельный японский символ, основанный на том, который вы видите - тот, который будет сильно отличаться от корейского или русского символа.
Восходящий метод распознавания рукописных символов состоит в том, чтобы дать компьютеру тысячи примеров каждого из них и позволить ему выявлять характерные особенности. Вместо этого Lake et al. дал программе общую модель того, как вы рисуете персонажа: штрих идет вправо или влево; после того, как вы заканчиваете одно, вы начинаете другое; и так далее. Когда программа увидела определенного персонажа, она могла вывести последовательность штрихов, которые, скорее всего, привели к нему, - точно так же, как я предположил, что процесс спама привел к моей сомнительной электронной почте. Тогда он мог бы судить, может ли новый персонаж быть результатом этой последовательности или другого, и он мог сам производить аналогичный набор штрихов. Программа работала намного лучше, чем программа глубокого обучения, применяемая к точно таким же данным, и она точно отражала производительность людей.
Эти два подхода к машинному обучению имеют взаимодополняющие сильные и слабые стороны. При подходе «снизу вверх» программе не нужно много знаний для начала, но для этого нужно много данных, и она может обобщаться лишь ограниченным образом. В нисходящем подходе программа может учиться на нескольких примерах и делать гораздо более широкие и разнообразные обобщения, но для начала вам нужно вложить в нее гораздо больше. В настоящее время ряд исследователей пытаются объединить два подхода, используя глубокое обучение для реализации байесовского вывода.
Недавний успех ИИ отчасти является результатом расширения этих старых идей. Но это больше связано с тем, что благодаря Интернету у нас гораздо больше данных, а благодаря закону Мура у нас гораздо больше вычислительных возможностей для применения к этим данным. Более того, неоценимым фактом является то, что имеющиеся у нас данные уже отсортированы и обработаны людьми. Изображения кошек, размещенные в Интернете, являются каноническими изображениями кошек - изображениями, которые люди уже выбрали в качестве «хороших» изображений. Google Translate работает, потому что он использует миллионы человеческих переводов и обобщает их в новый фрагмент текста, вместо того, чтобы по-настоящему понимать сами предложения.
Но поистине замечательным в человеческих детях является то, что они каким-то образом сочетают в себе лучшие черты каждого подхода, а затем выходят далеко за их пределы. В течение последних пятнадцати лет специалисты по развитию изучали способ, которым дети изучают структуру на основе данных. Четырехлетние дети могут учиться, беря только один или два примера данных, как это делает нисходящая система, и обобщая до самых разных концепций. Но они также могут изучать новые концепции и модели из самих данных, как это делает система снизу вверх.
Например, в нашей лаборатории мы даем маленьким детям «детектор бикета» - новую машину, которую нужно выяснить, такую, которую они никогда раньше не видели. Это коробка, которая загорается и воспроизводит музыку, когда вы кладете на нее одни объекты, но не другие. Мы даем детям только один или два примера того, как работает машина, показывая им, что, скажем, два красных блока заставляют его работать, а зелено-желтая комбинация - нет. Даже восемнадцатимесячные дети сразу выясняют общий принцип, что два объекта должны быть одинаковыми, чтобы заставить его работать, и они обобщают этот принцип на новые примеры: например, они выберут два объекта, которые имеют одинаковую форму, чтобы сделать машина работает. В других экспериментах мы показали, что дети могут даже понять, что какое-то скрытое невидимое свойство заставляет машину работать или что машина работает по какому-то абстрактному логическому принципу.
Вы можете показать это и в повседневном обучении детей. Маленькие дети быстро изучают абстрактные интуитивные теории биологии, физики и психологии во многом так же, как это делают взрослые ученые, даже с относительно небольшими данными.
Замечательные достижения в области машинного обучения в современных системах ИИ, как снизу вверх, так и сверху вниз, происходят в узком и четко определенном пространстве гипотез и концепций - точный набор игровых фигур и движений, заранее определенный набор изображений, Напротив, дети и ученые иногда меняют свои концепции радикальным образом, выполняя смену парадигмы, а не просто изменяя концепции, которые у них уже есть.
Четырехлетние дети могут сразу узнавать кошек и понимать слова, но они также могут делать творческие и удивительные новые выводы, которые выходят далеко за рамки их опыта. Мой собственный внук недавно объяснил, например, что если взрослый хочет снова стать ребенком, он должен стараться не есть никаких здоровых овощей, так как здоровые овощи делают ребенка взрослым. Такая гипотеза, правдоподобная, которую никогда не будет развлекать взрослый, характерна для маленьких детей. Фактически, мои коллеги и я систематически показали, что дошкольники лучше выдвигают маловероятные гипотезы, чем дети старшего возраста и взрослые. Мы почти не знаем, как это творческое обучение и инновации возможны.
Однако анализ того, что делают дети, может дать программистам полезные советы о том, как обучать работе на компьютере. Две особенности обучения детей особенно поразительны. Дети - активные ученики; они не просто пассивно поглощают данные, как ИИ. Подобно тому, как ученые экспериментируют, дети по сути своей стремятся извлекать информацию из окружающего их мира посредством своих бесконечных игр и исследований. Недавние исследования показывают, что это исследование является более систематическим, чем кажется, и хорошо приспособлено для нахождения убедительных доказательств в поддержку формирования гипотез и выбора теории. Встраивание любопытства в машины и предоставление им возможности активно взаимодействовать с миром может стать путем к более реалистичному и широкомасштабному обучению.
Во-вторых, дети, в отличие от существующих ИИ, являются социальными и культурными учениками. Люди не учатся в одиночестве, но пользуются накопленной мудростью прошлых поколений. Недавние исследования показывают, что даже дошкольники учатся подражанием и слушая свидетельства других. Но они не просто пассивно подчиняются своим учителям. Вместо этого они воспринимают информацию от других удивительно тонким и чувствительным образом, делая сложные выводы о том, откуда поступает информация и насколько она заслуживает доверия, и систематически интегрируют свой собственный опыт с тем, что они слышат.
«Искусственный интеллект» и «машинное обучение» звучат страшно. И в некоторых отношениях они есть. Эти системы используются, например, для управления оружием, и мы действительно должны бояться этого. Тем не менее, естественная глупость может нанести гораздо больший ущерб, чем искусственный интеллект; мы, люди, должны быть намного умнее, чем мы были в прошлом, чтобы должным образом регулировать новые технологии. Но нет никаких оснований для апокалиптического или утопического видения ИИ, заменяющих людей. Пока мы не решим основной парадокс обучения, лучшие искусственные интеллекты не смогут конкурировать со средним четырехлетним человеком.
Из предстоящей коллекции «ВОЗМОЖНЫЕ УМЫ»: 25 способов взглянуть на ИИ, под редакцией Джона Брокмана. Опубликовано по договоренности с «Пингвин Пресс», членом ООО «Пингвин Рэндом Хаус». Copyright © 2019 Джон Брокман.
