25 декабря 2023 giovanni1313
5. Объем исследований в области ИИ
Мы уделили много внимания двум интенсивным экспонентам: улучшению эффективности алгоритмов и удешевлению вычислений. Но пока мы так и не касались вопроса: а что нужно для того, чтобы эффективность здесь росла? Каков рецепт прогресса? Каков здесь «секретный ингредиент»?
Закон Мура — рост эффективности микроэлектроники — изучен академией довольно основательно, и рецепт прогресса здесь действительно удалось установить. Более того, всё указывает на то, что этот рецепт прогресса универсален и справедлив практически для любой области разработок.
Одна из наиболее полных попыток обобщить этот рецепт была предпринята в 2017 экономистом Николасом Блумом и несколькими его соавторами в статье ”Are ideas getting harder to find?”
“Экономический рост, — пишут авторы, — проистекает из того, что люди придумывают [новые] идеи“. В свою очередь, таинственный процесс придумывания идей авторы разделяют на две компоненты: число исследователей и их «идейная производительность» (производительность исследовательского труда).
Проанализировав имеющиеся эмпирические данные, Блум и др. делают вывод: число исследователей в основном растёт, а их производительность — снижается. Конкретный баланс между динамикой этих двух метрик в отдельно взятой индустрии и будет определять её темп прогресса.
Кейс: закон Мура. На стороне результатов имеем очень стабильный технологический прогресс, примерно на 35% в год (удвоение каждые два года). А что на стороне входящих ресурсов?
А на стороне входящих ресурсов мы имеем очень массивный рост затрат на НИОКР. Отнормировав его на величину зарплаты людей с высшим образованием, авторы получают, что он эквивалентен увеличению числа исследователей в области микроэлектроники в 18 раз за 43 года. Альтернативный вариант расчета, в котором исследовательские затраты для каждой компании включаются пропорционально доле ее патентов, относящихся к области полупроводников, показывает еще больший рост: в 26 раз.
Поэтому, да, закон Мура обходится нам недешево. Помимо полупроводников, авторы рассчитывают аналогичные метрики для сельского хозяйства (где на стороне результата урожайность нескольких культур) и для фармацевтики (где на стороне результата несколько метрик, связанных с продолжительностью жизни). Везде наблюдается кратный, порой >20 раз, рост эквивалентного числа исследователей.
Но мы сосредоточимся на микроэлектронике — поскольку именно там мы видим технологический прогресс, хоть как-то сопоставимый со скоростью совершенствования эффективности алгоритмов. Если армия исследователей на промежутке 1971-2014 выросла в 18-26 раз, то количество транзисторов в 1 чипе выросло в… 402 тыс. раз! Неплохой результат, правда?
Этот результат означает, что, во-первых, отдача от роста поголовья исследователей действительно была убывающей, как и в других примерах. В частности, она эквивалентна падению производительности их труда на 6,8%-7,6% в год. Но, во-вторых, это падение производительности было вполне приемлемым на фоне прогресса в разрабатываемой ими технологии. Годовая разница между 7 процентами падения производительности труда и 35 процентами технологического совершенствования на отрезке 40+ лет даёт головокружительный выигрыш — десятки тысяч раз.
Теперь мы подойдем с этими мерками к исследованиям в области ИИ. К сожалению, как мы уже говорили в предыдущей части, тема совершенствования эффективности алгоритмов изучена академией очень слабо. То же самое мы можем сказать об анализе эффективности самого исследовательского процесса в сфере ИИ. Но попытка оценить ее, опираясь на фреймворк, предложенный Блумом и др., всё же имеется. Это дипломная работа Т. Бесироглу ”Are models getting harder to find?”
Автор собирает данные по количеству исследователей в трех областях машинного обучения за 2012-2020 гг.. На графике ниже показаны две из них: машинное зрение и обработка естественного языка. К сожалению, Бесироглу не озаботился сезонным сглаживанием серий — простительный грех для дипломной работы, благо это не самый большой ее недостаток. Мы можем увидеть, что за 7 лет эквивалент числа исследователей в машинном зрении вырос примерно в 11,5 раз, в обработке естественного языка — в 8 раз:
Весьма внушительно, если мы будем сравнивать машинное обучение с микроэлектроникой. Там средний прирост поголовья исследователей составлял 7%-8% в год. А в машинном обучении — 35%-42% в год! Теперь понятнее, откуда растут ноги у такого быстрого роста алгоритмической эффективности.
Хорошо, а что с падающей отдачей? На сторону результата Бесироглу относит почти сотню бенчмарков, на которых измеряются способности машинных моделей. И получает, что в машинном обучении — так же, как и в отраслях, исследованных Блумом и др. — наблюдается быстрое падение производительности исследовательского труда. Его темп, в зависимости от конкретной области и метода расчета, варьирует от 13% до 21%.
Здесь хочется отметить несколько существенных претензий к работе Бесироглу. Во-первых, он не нормирует используемые в расчёте бенчмарки — то есть не приводит прогресс в них к сопоставимому виду. Во-вторых, он рассматривает результаты бенчмарка как линейный показатель. Но на самом деле там нет линейности: чем ближе точность к 100%, чем ближе результат к так называемому «насыщению» — тем сложнее даётся каждый дополнительный процент повышения точности. Всё дело в том, что бенчмарк содержит большое количество разнородных заданий, как более простых, так и более сложных. И более ранние модели срывают «низковисящие плоды» — преуспевают в более легких задачах внутри бенчмарка.
Динамика освоения нескольких ИИ-бенчмарков. Видно, что после достижения высоких результатов прогресс замедляется
В-третьих, если мы посмотрим на список использованных бенчмарков для обработки естественного языка (область, с которой я знаком лучше), то ни один (!) из 16 уже давно не используется для оценки больших языковых моделей. Всё дело в уже упомянутом «насыщении»: как только модели осваивают некоторый бенчмарк, как только точность в нём приближается к 100% — такой бенчмарк перестаёт быть хорошим инструментов для оценки дальнейшего прогресса. Исследователи переходят к другим, более сложным бенчмаркам. Поскольку прогресс в способностях языковых моделей колоссален, весьма велика и разница в сложности более ранних бенчмарков и тех, что используются сейчас. Этот момент работа Бесироглу совершенно не учитывает.
Все эти три недостатка существенно завышают полученные Бесироглу темпы падения производительности исследований. Я бы скорее интерпретировал их как верхнюю границу возможных значений.
Давайте перейдём к более однозначным метрикам, касающимся объема исследований. С 2020 года — последнего, попавшего в расчеты Бесироглу — в машинном обучении произошло много интересного. В частности, проект OECD.AI может дать нам актуальный график для экспоненты, которой посвящена эта глава:
Мы видим, что темпы роста здесь ниже, чем получились у Бесироглу — порядка 23%-24% в год. Во-первых, потому, что Бесироглу фокусируется на отдельных, самых ключевых направлениях в рамках науки об ИИ, где прогресс наиболее интенсивен. Во-вторых, как мы уже сказали при обсуждении первой ИИ-экспоненты, машинные модели из объекта академического интереса стали коммерческими объектами. Внушительный объем исследований сейчас проводится внутри корпоративных лабораторий и остаётся в корпоративных стенах, не доходя до научных журналов.
Эти нюансы затрудняют оценку количества исследователей, расширяющих сейчас технологический фронтир для искусственного интеллекта. Верхнюю границу, с широким охватом направлений внутри этой дисциплины, можно оценить в 100 тыс. человек. Оценка «по минимуму» — 30 тыс. человек.
Темпы роста объёма исследований от OECD.AI стоит скорее ассоциировать с верхней границей этого диапазона, темпы роста, полученные Бесироглу — с нижней границей. Это даёт нам сходящуюся оценку абсолютного прироста числа исследователей: сейчас это порядка 11-24 тыс. человек в год. Это целая армия исследователей, которых не было в 2021, но которые пришли в сферу ИИ в 2022. Более того, экспонента требует, чтобы в каждом следующем году приток этих «новобранцев» был всё больше и больше.
Реалистично ли это? Пока индустрия справляется с пополнением своих рядов. Но пределы у такого роста всё-таки есть — хотя количественно оценить их затруднительно. Невозможно в одночасье стать хорошим исследователем в области ИИ. Обычно этот путь занимает годы и требует серьезной академической поддержки. Это профильная университетская программа, это научный руководитель, это лабораторные вычислительные мощности (без практики исследователем стать не получится) и так далее.
Технически всё это является вполне осуществимым. Но остаётся некоторый скепсис по поводу того, насколько правильно полагаться только на техническую сторону и представлять процесс в виде «конвейера», на котором можно «наштамповать» требуемое количество ученых.
Однако искусственный интеллект является уникальной технологией, которая позволяет пересмотреть саму парадигму придумывания новых идей за счет экстенсивного роста поголовья исследователей и постоянного убывания производительности их идейного труда. Экспонента объема исследований не так проста, как кажется. И всё потому, что здесь может возникнуть мощная петля положительной обратной связи.
Для начала вспомним пример из предыдущей части про закон Мура — ситуацию в начале 1980-ых, когда проектирование микросхем во многих случаях делалось вручную, грифельным карандашом на листе ватмана. Когда число компонентов в одном чипе перевалило за сотню тысяч, «карандашное» проектирование попросту себя исчерпало — двигаться дальше, полагаясь только на ручной труд, было невозможно.
К счастью, к тому времени уже существовало программное обеспечение, автоматизирующее труд проектировщика. И с дальнейшем ростом сложности микрочипов использование таких программ стало обязательным. Сами же программы до сих пор продолжают развиваться и усложняться. Но обратим внимание на такой момент: существование программного обеспечения, умеющего проектировать чипы с сотнями тысяч элементов было бы невозможно без существования чипов с десятками тысяч элементов. Проще говоря, без достаточно развитой электроники нельзя создать программу автоматизации дизайна этой самой электроники. Ее попросту было бы не на чем запустить.
Это пример положительной обратной связи: чем более продвинутые чипы нам доступны, тем больше программных возможностей мы можем реализовать. А чем больше у нас программных возможностей по проектированию чипов — тем более продвинутые чипы мы создаем.
Теперь переходим к искусственному интеллекту. Вообще, научные исследования, расширение границ человеческого знания, создание новых методов, которые до тебя не использовал никто, а после тебя сможет использовать каждый — это одна из самых интеллектуально интенсивных задач, решаемых обществом. И в силу высоких требований к интеллектуальным навыкам уровень автоматизации этой работы вплоть до недавнего времени был довольно низким.
Да, ученые воспользовались плодами экспоненты имени Мура и переложили на вычислительные машины количественную часть своей работы. Но эта количественная, вычислительная часть — лишь один из аспектов научных исследований, и не факт, что самый важный. По другим аспектам, не сводимым к нескольким строчкам программного кода, исследователи по-прежнему были вынуждены полагаться только на свои силы.
Фактически, эта слабая автоматизация и является главной причиной постоянного убывания исследовательского труда. Интеллектуальные навыки среднего исследователя за последние два века изменились слабо; человеческие способности — это константа. Но расширение технологического фронтира — это задача с постоянно растущей сложностью. Поскольку самые перспективные открытия по соотношению «усилия/результат» — пресловутые «низковисящие плоды» — обнаруживаются первыми.
Использование машинного интеллекта в дополнение к человеческому — единственный способ развернуть эту траекторию падения производительности. Точно так же, как в сельском хозяйстве и промышленности машины на порядки повысили производительность труда, ИИ может дать экспоненциальный рост объема исследований даже без экстенсивного наращивания числа задействованных ученых.
Но как именно будет выглядеть участие искусственного интеллекта в исследованиях? Хорошей идеей будет посмотреть на то, как он используется сегодня, с более слабыми ИИ-технологиями, нежели те, что будут доступны через 2-5 лет. Динамика использования ИИ в науке уже сейчас выглядит многообещающе:
Мы воспользуемся двумя опросами по этой теме, одним от журнала ”Nature” и другим от издателя ”Elseveir”. На графике ниже ученые-респонденты опроса ”Nature” называют ряд преимуществ ИИ в своей работе:
Сразу отметим, что абсолютные значения здесь не слишком репрезентативны. Выборка смещена в сторону ученых, работающих в области ИИ (48%) либо уже использующих ИИ в своей деятельности (еще 30%). Для сравнения, опрос от ”Elseveir” показал, что в 2021 г. только 16% респондентов использовали ИИ.
Как бы там ни было, мы видим весьма широкий набор задач, уже перекладываемых на ИИ. Причем в списке есть не только «технические» задачи (вроде ускорения обработки данных), но и процессы, ключевые для исследовательской деятельности (вроде новых научных открытий). Еще один вопрос касался преимуществ больших языковых моделей — области, наиболее перспективной для наших экспонент:
На первом плане сейчас «технические» задачи, вроде помощи с английским языком тем, для кого он не является родным. Но именно «технические» задачи съедают львиную долю рабочего времени ученых, так что автоматизация здесь должна хорошо повлиять на производительность. Добавим, что на генеративный ИИ уже начинают возлагаться и собственно исследовательские задачи.
Ученые уверены в том, что будущее науки — за искусственным интеллектом. Даже среди тех, кто сейчас не использует ИИ, 43% уверены, что в следующем десятилетии эта технология будет «необходимой» или «очень полезной». Среди использующих ИИ сейчас эта доля составляет свыше 70%:
Причем применение ИИ ученые видят не только в исследованиях как таковых, но и по всей «вертикали» научного процесса. Так, 21% респондентов опроса ”Elseveir” были согласны читать научные статьи, рецензентом которых был бы искусственный интеллект.
Мы можем дополнить эту широкую картину внедрения ИИ в науке несколькими конкретными примерами. Начнем с микро-уровня. В работе “Mathematical discoveries from program search with large language models“ авторы проверяют способности языковой модели самостоятельно, без вмешательства человека оптимизировать алгоритмы, решающие задачи из области математики. Несмотря на то, что модель была далеко не самой продвинутой, она смогла сформулировать решения, превосходящие человеческие. Речь идёт о вопросах, над которыми ученые-математики до этого работали десятилетиями.
Пример на макро-уровне — работа «Forecasting the future of artificial intelligence with machine learning-based link prediction in an exponentially growing knowledge network». Здесь авторы обучили машинную модель на 143 тыс. научных статьях по теме ИИ. И попросили ее спрогнозировать, какие научные концепции, ранее не употреблявшиеся вместе, будут объединены в рамках новой научной статьи. То есть фактически речь о предсказывании будущей траектории науки, путей синтеза знаний. Результат получился феноменальным: почти 100%-ная точность прогнозирования для концепций, которые будут объединены как минимум в трёх новых статьях.
Читатель может заметить, что все описанные выше процессы будут повышать производительность исследований во всех областях науки, а не только в ИИ. Это верное наблюдение. Но, чисто эмпирически, пока исследования ИИ с большим отрывом опережают другие научные направления по использованию ИИ-инструментов:
Причин тому может быть несколько. Во-первых, исследователи в области ИИ лучше всего знакомы с машинными моделями, их потенциалом, ограничениями и наиболее продуктивными способами их использования. Во-вторых, ученые здесь прекрасно понимают важность таких составляющих машинного обучения, как наборы обучающих данных и программные фреймворки, и уже накопили мощную базу таких инструментов. В-третьих, исследователи задумывают и проектируют такие решения для знакомых им проблем — и эти решения очень редко оказываются достаточно универсальными, чтобы применяться в других областях науки.
Однако использование ИИ в исследованиях по ИИ является не просто закономерной — но и критически важной составляющей нашей экспоненты. Всё дело в петле положительной обратной связи. Чем более продвинутый ИИ доступен исследователям — тем больше они могут усовершенствовать эту технологию. Усовершенствования будут питать дальнейшие усовершенствования. В других областях науки подобный эффект будет гораздо менее выраженным. Единственным исключением будет прогресс в нашей третьей экспоненте — эффективности микроэлектроники. Искусственному интеллекту необходима «физическая» вычислительная инфраструктура.
Логичным трендом в рамках этой положительной обратной связи является постепенное уменьшение роли человека в исследовательском процессе. Настолько, что формулу придумывания новых идей, данную в начале этой главы (число исследователей x «идейная производительность»), рано или поздно можно будет заместить новой формулой, в которой людей не будет вовсе. Люди будут заменены на количество копий моделей, работающих параллельно над генерацией новых знаний. А производительность человеческого «идейного труда» — на интеллектуальную мощность этих моделей.
Эта замена даже не требует какой-то огромной интеллектуальной мощности ИИ-исследователей, превосходящей человеческую. Пускай каждая копия модели будет посредственным ученым. Но то, что ИИ не сможет взять качеством, он будет брать количеством. Сервера с ИИ-исследователями будут работать 24 часа в сутки 7 дней в неделю. Сами модели будут заняты только добычей новых знаний — никаких перерывов на кофе, на соцсети и на болтовню с коллегами. Максимальная концентрация усилий на предмете. Добавим сюда на порядки более скоростные средства коммуникации, доступные машинам — и кластеры с ИИ-исследователями начинают выглядеть очень перспективным инструментом технологического прогресса.
Роботизация науки — это, без всякого преувеличения, революционная перспектива. Но это единственный путь, который делает устойчивым рост по экспоненте исследований ИИ. Более того, этот путь позволяет ускорить экспоненту алгоритмической эффективности и дать новый толчок экспоненте эффективности вычислительных устройств.
Но путь роботизации является экстенсивным путем. А для всякой экстенсивной экспоненты нужны ресурсы. Да, автоматизация исследований позволяет обойти многие ограничения, связанные с масштабированием «человеческой» науки — но эта автоматизация требует своих, специфических издержек. О них мы поговорим уже в следующей части.
(C) Источник
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter