12 октября 2021 giovanni1313
Специальный проект Стэнфордского университета, “AI100”, выпустил свежий отчет о нынешнем состоянии дел в сфере искусственного интеллекта. Отчёт, второй в рамках проекта, выделяется среди других публикаций по нескольким параметрам. Например, он издаётся раз в 5 лет. Число 100 в названии проекта указывает на амбициозную цель: отслеживать развитие сферы ИИ на протяжении столетия, с заданной регулярностью документируя новые достижения и новые вызовы.
Это задаёт публикации особый тон: взвешенный, нейтральный, хотя и немного не дотягивающий до энциклопедичного. Тем не менее, благодаря маститому составу экспертов, “AI100” получился одним из самых обстоятельных обзоров того, какое место ИИ-технологии сейчас занимают в нашей жизни — и что ждать в ближайшем будущем. Без хайпа и заезженных
консалтинговых мантр — но со множеством весьма проницательных идей и выводов.
Тема, которой посвящен этот пост — «великие вызовы» для ИИ. Не секрет, что вокруг много скептиков, которые снисходительно смотрят на достигнутый в отрасли прогресс. Регулярно можно услышать мнение, что ничего существенного «так называемая» ИИ-революция не добилась, что модели машинного обучения — «неправильный» и бесполезный ИИ. Всё это можно вписать в более общий нарратив о том, что «технический прогресс затормозился» и человечество перестало делать крупные открытия.
Для того, чтобы понять, насколько обоснованы претензии скептиков, в первую очередь стоит определиться с критериями. Как можно увидеть прогресс? Что считать крупным открытием? И здесь великие вызовы для ИИ выглядят одними из самых перспективных кандидатов.
Сама концепция принадлежит Раджу Редди. В уже далеком 1988 году, в своем обращении к Американской ассоциации по исследованию ИИ, президентом которой он был выбран, Редди начал с цитирования тех же самых вопросов о критериях: «Как можно понять, добились ли мы успеха или же терпим неудачу?»
Радж Редди в 2018
Посвятив немало внимания прошлым достижениям этой научной области, Радж Редди наконец обращается к тому, каким он хотел бы видеть прогресс в ИИ в следующих десятилетиях. «Мы должны создать видение будущего, которое было бы захватывающим и бросающим вызов. <...> К счастью, у нас есть несколько проблем, кажущихся обоснованными, которые сейчас нерешаемы и которые требуют новых крупных озарений и фундаментальных прорывов в различных поднаправлениях ИИ...»
Итак, тридцать с лишним лет назад был сформулирован ряд крупнейших вызовов в области ИИ. Непреодолимых вызовов, требующих настоящих прорывов. Критерии были строго определены. «Успех никоим образом не гарантирован, — предупреждал Редди об их сложности, — и каждая проблема представляет собой инвестицию с высоким риском и высоким выигрышем». Что это были за вызовы, и насколько мы продвинулись вперед в их решении за последние десятилетия?
машина-чемпион мира по шахматам;
математическое открытие за авторством ИИ. Точные требования к тому, что именно считать подходящим открытием, на момент публикации в 1988 еще не были подготовлены;
телефон-переводчик. Разговор в реальном времени между собеседниками, владеющими разными языками.
автомобиль, избегающий аварий. «Видимо, автомобиль нового поколения, оснащенный умным круиз-контролем, используя ультразвуковые, лазерные и видео-сенсоры может устранить 80%-90% ДТП со смертельным исходом и стоить менее 10% от общей стоимости авто»;
самоорганизующиеся системы. Здесь Редди упоминает два вызова. Первый — прочитать главу из учебника и ответить на вопросы в её конце;
и второй — научиться собирать бытовой прибор (например кухонный комбайн) после демонстрации человеком, как это нужно делать;
самовоспроизводящиеся системы. Пример — зонд фон Неймана.
А теперь — какие вызовы были покорены. 1997 – “Deep Blue” обыгрывает чемпиона мира по шахматам Гарри Каспарова. 2014 — “Microsoft” начинает тестировать на публике функцию автоматического перевода речи между английским и испанским в своём приложении ”Skype”. 2018 – нейросети превышают человеческий уровень в датасете SQuAD, где нужно отвечать на вопросы, задаваемые по содержанию статьи из Википедии. 2020 – “Waymo” публикует статистику аварийности своих беспилотников, в которой на 6,1 млн. миль не было аварий, повлекших человеческие травмы (статистика для людей при аналогичном километраже — около 6 таких аварий).
Это феноменальный успех — больше половины из изначально задуманных задач были решены. Несмотря на то, что успех гарантирован не был. Причем особенно плодотворными выдались именно последние годы. Это не просто прогресс — но прогресс, характеризовавшийся множеством фундаментальных прорывов и крупных озарений.
И если «великие вызовы» оказались удачным способом обозначить прогресс в исследованиях ИИ, почему бы не продолжить использование этого инструмента? Редди писал своё обращение в условиях наступающей ИИ-«зимы»; сейчас в отрасли очень горячо — но остаются неизменными огромная неопределенность в дальнейших темпах развития ИИ и потребность в беспристрастной оценке этого самого развития.
Любопытно, что, несмотря на неопределенность, шахматисту и профессору информатики Хансу Берлинеру удалось довольно точно определить, когда компьютер станет чемпионом мира по шахматам. Редди приводит его тезис о том, что «если отложить на графике прогресс компьютерных шахмат за последние годы, рейтинги стабильно росли на 45 очков в год». Путём нехитрой экстраполяции получалось, что компьютер завоюет первенство в 1998 — т. е. экстраполяция ошиблась всего на 1 год.
Увы, с оставшимися непокоренными «великими вызовами» столь же простые оценки невозможны. Более того, опираясь на современное состояние отрасли, можно с уверенностью говорить, что их покорение по-прежнему остаётся задачей титанической сложности (это косвенно говорит о том, что вызовы действительно были подобраны хорошо). С большой вероятностью эти вызовы так и останутся нерешенными в следующем десятилетии.
Как отмечает отчет ”AI100”, с развитием сферы ИИ меняются и представления о том, что можно считать «великим вызовом». Поэтому авторы отчета решили обновить список 33-летней давности, добавив в него новые задачи. При этом авторы старались придерживаться изначально задуманных требований к вызовам: тщательно определенных целей и четких критериев успеха.
Дополнительно было выдвинуто еще одно требование: необходимость плодотворной коллаборации ученых разных направлений, с прицелом на общественные науки. Это смещает фокус с чисто технических достижений на достижения, которые принесут пользу обществу — по мнению авторов, погоня за первым может обернуться игнорированием этической стороны.
Итак, какие новые «великие вызовы» предлагает ”AI100”?
1. Тест Тьюринга
Широко известный тест, о многочисленных нюансах которого можно почитать здесь. Насколько хорошо он годится на роль великого вызова сегодня, в 2021 году? Ответ на этот вопрос не так прост. И причиной этому является GPT-3 – языковая модель, выпущенная в прошлом году и ставшая как раз тем самым фундаментальным прорывом и крупным озарением.
Дело в том, что GPT-3 исключительно хороша в диалогах. Феноменально хороша. Более того, я даже возьму на себя смелость утверждать, что в оригинальной схеме, предложенной Тьюрингом — арбитры из «простого народа», диалог продолжительностью 5 минут, успех машины в 70% случаев — GPT-3 без всяких оговорок пройдёт тест. И это действительно прорывной результат. Тьюринг ожидал, что он будет достигнут к концу 20 века, т. е. примерно через 50 лет после публикации идеи. По сути, ученый обозначил, какой итог ждать за полвека прогресса в отрасли — и, с определенной погрешностью в пару десятилетий, мы достигли этой цели.
Тест Тьюринга, без сомнения, был великим вызовом. Но уже покоренные вызовы вряд ли помогут в дальнейшем прогрессе. Понимая это, эксперты стараются критически подойти к способностям GPT-3: дескать, такие модели ненадёжны и часто ошибаются, генерируя текст, противоречащий человеческим правилам, особенностям и здравому смыслу.
Все пункты критики, взятые сами по себе, не подлежат сомнению: да, ненадёжны и да, ошибаются. Но в контексте теста Тьюринга подобное выдвижение дополнительных требований, «изменение правил во время игры» противоречит исходной посылке о чёткости определений для великого вызова и критериев его преодоления. Во-первых, нигде ни у Тьюринга, ни у последователей, развивавших его идею, мы не увидим требования к безупречности машины. Во-вторых, ошибаются и люди — причем в ряде случаев их ошибки попадают в те же категории, которые авторы ставят в вину машинам.
К счастью, помимо критики, авторы предлагают и интересные конструктивные идеи. В частности, они предлагают взять за основу «великого вызова» формулировку, предложенную Барбарой Грош в 2012: «Компьютер/агент-член команды, [который] мог бы вести себя на длительном промежутке времени и в неопределенной, динамичной среде таким образом, что люди, входящие в состав команды не заметят, что он не является человеком».
К слову, Грош тоже занимала пост президента Американской ассоциации по исследованию ИИ через некоторое время после Редди, так что определенная преемственность при выборе новых «великих вызовов» здесь определенно есть. Но это детали, конечно. Гораздо важнее суть самой формулировки. И надо признаться, что она выглядит довольно расплывчато на фоне вызовов Редди.
Скажем, что считать «длительным промежутком времени»? Неделю? Месяц? Год? Еще больше вопросов по поводу того, какие именно команды и какие именно окружения отвечают требованиям теста? Здесь как минимум стоит добавить контекста от Грош: «Системы могут начать с простых групповых активностей и продвигаться к более сложным. <...> Cистемам будут нужны модели знаний, возможностей и предпочтений членов своей команды, и даже более. Им понадобится выяснить, как подходящим образом делиться информацией (чем, с кем и когда). Им понадобится управлять планами и восстанавливаться после ошибок. И еще много чего».
Это немного проясняет замысел автора, но, увы, не добавляет конкретики. Например, подходят ли в качестве активности командные видеоигры? Довольно простое окружение, безусловно — но в этой области задача «человекоподобного» поведения практически решена, причем еще до выхода GPT-3.
Гораздо более подходящей для оценки алгоритмов по критерию Грош видится трудовая деятельность. Здесь и командная работа используется практически повсеместно, и среда является неопределенной и динамичной, и разнообразие возможных ролей очень велико.
При этом наблюдается любопытное свойство: автоматизация постоянно поглощает всё новые и новые профессии, но после поглощения они не становятся «человекоподобным» эквивалентом. Вместо этого меняется наш формат взаимодействия с машиной или алгоритмом, заменившим привычную человеческую роль. Сравните, например, получение электронной почты и общение с почтальоном, приносящим письма. Другими словами, мы подстраиваем свою работу под возможности алгоритмов — и вызов Грош заключается в том, чтобы создать машину, которая смогла бы работать по обратной схеме.
Авторы ”AI100”, не упускающие ни в одном абзаце повод напомнить о том, насколько ИИ опасен и вреден для общества, умудряются разводнить и без того расплывчатую формулировку Грош. Очередная претензия экспертов касается того, что ИИ современного уровня очень легко спутать с человеком. А это, в свою очередь, может привести к разнообразным злоупотреблениям.
Поэтому, рассуждают эксперты, нам нужен ИИ, который нельзя будет принять за человека. Но в то же время члены команды не заметят, что это не человек. Ну да, немножко взаимоисключающие параграфы. И нет, это не парадокс в духе дзена, который составляет главную сложность вызова — это лишь предельно наивное сочетание стремления создать мощнейший инструмент и одновременного страха перед его мощью.
Никто не спорит с тем, что прозрачность и честность являются необходимыми и безусловными требованиями к диалоговым системам ИИ. В этом и заключается настоящий парадокс: на самом деле человечеству нужны безопасные, стабильные, предсказуемые и малозаметные в силу обыденности системы. Одним словом, скучные. Вызовы для машинной этики получаются полной противоположностью вызовам для технологий ИИ: последние, согласно Редди, должны быть захватывающими, прорывными и малоисследованными. Соединить эти два подхода, «лёд и пламень», очень непросто. Хотя авторы ”AI100” ставят именно такую цель. Увы, предлагаемая ими интерпретация теста Тьюринга не кажется особенно удачным примером...
2. Робокубок
К счастью, оставшиеся «великие вызовы» вызывают гораздо меньше вопросов. Робокубок — одна из самых известных инициатив в сфере робототехники, предложенная еще в 1995. Суть вызова: создать команду полностью автономных роботов, которые смогут обыграть человеческую сборную-действующего чемпиона Чемпионата мира по футболу.
Этот вызов напоминает нам про парадокс Моравека, который звучит так: «сравнительно легко заставить компьютеры показывать результаты на уровне взрослых в тестах интеллекта или игре в шашки, и трудно или невозможно дать им навыки годовалого ребенка, когда дело касается восприятия и мобильности». Сформулированный в 1988, этот тезис остается справедливым и сегодня. Тонкая моторика и манипуляции с предметами произвольной формы, которые кажутся любому человеку естественными, для нынешней робототехники являются безумно сложными задачами. Если Каспаров был побежден ИИ в 1997, то условный Роналду еще долго может не опасаться механических соперников.
Чтобы следовать курсу на плодотворную кооперацию между людьми и ИИ, эксперты ”AI100” предлагают альтернативный вариант вызова: создать смешанную команду футболистов из людей и роботов, которая завоевала бы чемпионский титул.
Организация ”RoboCup” регулярно проводит соревнования среди роботов в различных лигах, поэтому оценить нынешнее состояние дел не составляет труда. Если вы вдруг считаете, что робот ”Atlas” от «Бостон Дайнэмикс» хорошо отражает уровень современной робототехники — то наверняка видео ниже вас разочаруют. И дело даже не в том, что соревновнуются в ”RoboCup” в основном студенческие команды — а в том, что технологии «Бостон Дайнэмикс» лет на 10 опережают конкурентов. А то и больше.
Колесные роботы играют еще довольно динамично…
А вот их гуманоидные собратья с мячиком не дружат вовсе.
3. Международная математическая олимпиада
Еще один конкурс, в котором традиционно соревнуются люди. На этот раз дисциплина интеллектуальная, и соперничать ИИ придется с самыми одаренными школьниками планеты. Идея принадлежит Дэниэлу Селсаму, и он вместе с коллегами из «Майкрософт» определил довольно жёсткие рамки для этого вызова. Например, математические задачи должны быть представлены алгоритму в формате Lean (разработанный в корпорации инструмент доказательства теорем и соответствующий язык программирования). В этом же формате должен быть представлен и ответ, для его автоматической проверки. Проверка должна занимать не более 10 минут.
Остальные детали не так сложны. Машине даётся то же время, что и людям-участникам олимпиады — 4,5 часа на каждый набор из 3-х задач. Ей нельзя пользоваться интернетом. Цель — занять первое место, набрав больше баллов, чем люди, решавшие те же самые задачи.
Безусловно, это сложнейшая задача. И если сделать условия вызова более универсальными, отказавшись от формализации задач и решений на стороннем языке программирования и требуя от машины работы с формулировками на естественном (математическом) языке, такой ИИ потенциально может принести очень большую практическую пользу.
4. ИИ-ученый
Хироаки Китано является одним из соавторов ”AI100”, и подробно о его идее можно почитать здесь. (К слову, Китано является и соавтором «футбольного» вызова.) ИИ-ученый — это система, способная самостоятельно заниматься научной деятельностью, совершать научные открытия и — в качестве самой дерзкой цели — получить за свой вклад в науку Нобелевскую премию.
Первый вызов, предлагаемый в отчете, тест Тьюринга, призван создать машину, которая не будет уступать обычному человеку. Робокубок и математическая олимпиада ставят целью превзойти людей в соревнованиях, физических и интеллектуальных. ИИ-ученый, способный на прорывные открытия — это еще более высокая планка. Это искусственный сверхинтеллект, самосовершенствующаяся система, превзошедшая человеческие возможности.
Это система, которая примет от нас, людей, эстафету разума. Великий вызов? Безусловно! Один из самых великих вызовов, которые стоят не только перед областью ИИ, но и перед всем человечеством.
Так что отобранные в ”AI100” вызовы никак не упрекнешь в недостатке амбиций. И следующие три-четыре десятилетия могут быть ознаменованы новыми яркими победами в сфере ИИ. Но для этого, конечно, нам понадобится очень много усилий и чуть-чуть везения.
(C) Источник
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter