Искусственный интеллект или Подлинная глупость?

Перевод статьи из блога LT3000

За последние три года бум в сфере ИИ/LLM и связанный с ним суперцикл капиталовложений оказали глубокое влияние на экономику, финансовые рынки и общество (хотя и не на корпоративную производительность, как мы еще обсудим). Однако по мере того, как безудержный оптимизм в области искусственного интеллекта и его проявления на финансовом рынке продолжают расти, постепенно появляются свидетельства того, что многие из основополагающих предположений бума начинают давать сбой. Расхождение между этими двумя понятиями стало настолько явным, что есть все основания полагать, что экономический бум сейчас превратился в полноценный пузырь, причем такого размера, что по сравнению с ним dot.com пузырь выглядит несерьезно.

Нельзя отрицать, что возможности LLM потрясающие; я использую ChatGPT ежедневно. Изначально шумиха казалась оправданной, поэтому я поначалу воздерживался от того, чтобы рассматривать ее как пузырь, несмотря на мои противоположные инстинкты. Возможности LLM казались впечатляющими и развивались быстрыми темпами, а “законы масштабирования” обещали еще больше – возможно, вплоть до AGI и далее. Социальные изменения и повышение производительности, которые произошли бы в результате такого прогресса, были бы значительными.

Но недавние события ставят под серьезное сомнение эту траекторию, и безудержно оптимистичные ожидания людей, похоже, все больше расходятся с фактическими данными. Как я расскажу далее, так называемые “законы масштабирования”, которые являются важнейшим основополагающим допущением, по-видимому, дают сбои, в то время как обещанные преимущества в производительности до сих пор полностью не материализовались. LLM все чаще сталкиваются со структурными ограничениями в своих мыслительных способностях и неизлечимой склонностью к галлюцинациям, которые итеративная архитектура LLM, возможно, не в состоянии исправить.

Но эти “неудобные истины” решительно игнорируются. Несмотря на недавние неудачи, отрасль уверенно продвигается вперед, увеличив инвестиции в вычислительную технику еще на порядок и достигнув уровня, быстро приближающегося к полтриллиона долларов в год, в то время как оценки фондового рынка и стартапов с искусственным интеллектом продолжают расти. На данном этапе экономический бум, имевший под собой рациональную основу, похоже, превратился в иррационально пышный пузырь, и его взрыв может иметь серьезные последствия как для экономики, так и для финансового рынка.

Прежде чем перейти к моей аргументации, я хотел бы сделать одно предостережение. Искусственный интеллект - это быстро развивающаяся область, поэтому любые взгляды, “укоренившиеся во времени”, всегда сопряжены со значительным риском того, что в ретроспективе они будут выглядеть глупо ошибочными. В ситуациях высокой неопределенности и быстрых изменений, подобных этой, лучше всего сохранять свои взгляды гибкими и адаптируемыми к новым данным. Но сейчас, похоже, наблюдается такое растущее расхождение между последними технологическими тенденциями и более широким восприятием рынка, что я чувствую необходимость что-то написать.

В той мере, в какой я прав, последствия будут действительно масштабными. Это действительно вопрос стоимостью более 10 трлн долларов. Текущий суперцикл капиталовложений в ИИ действует как основной экономический стимул в то время, когда другие отрасли экономики демонстрируют признаки слабости, и еще больше усилил давление на фондовый рынок, учитывая большой вес индекса и высокие коэффициенты его (в настоящее время многих) составляющих. И это не только обычные подозреваемые Mag-7: MSFT, GOOGL, AMZN и META (дорогие, но не вопиющие).; TSLA (Как это ни возмутительно, помимо лихорадки Илона, это стало рассматриваться как игра в ИИ - ранее автономные транспортные средства/роботакси, а теперь обещание ИИ-роботов, несмотря на то, что не удалось реализовать первое); и NVDA и AVGO (великие компании, но невероятно переоцененные, если не верить в то, что текущий уровень капиталовложений в ИИ будет устойчивым).

В нее также входят все компании, занимающиеся поставками микрочипов (TSMC и производители памяти SK Hynix, Samsung, Micron), а также компании, производящие полупроводники (ASML, Lam, Applied Materials, KLA). Хотя мультипликаторы здесь не являются чем-то запредельным, в случае снижения капиталовложений в ИИ их доходы резко упадут. Гораздо более вопиющими считаются бенефициары ИИ, такие как Palantir (рыночная капитализация которой сейчас составляет 430 млрд долларов при выручке всего в 4 млрд долларов), и компании, которые, как вы ожидаете, не будут играть в ИИ–игры, такие как Axon Enterprises - компания по производству электрошокеров и камер для тела с рыночной капитализацией в 56 млрд долларов, торгующаяся со 100-кратной прибылью, ведь люди верят, что они смогут применить искусственный интеллект к своим обширным данным. В число избранных теперь также входит Oracle, которая несколько месяцев назад увеличила рыночную капитализацию на 200 миллиардов долларов за один день, что свидетельствует о том, что она становится крупным игроком в области облачных вычислений с использованием искусственного интеллекта.

Более того, китайские технологические компании с крупной капитализацией также недавно выросли (особенно Alibaba), поскольку их стали рассматривать как игру с искусственным интеллектом, а не просто как компанию электронной коммерции со структурными проблемами на все более насыщенном и склонном к ценовым войнам рынке с плохим распределением капитала в придачу. В настоящее время мания искусственного интеллекта достигла такого уровня, что новость о том, что компания потратит 50 миллиардов долларов на капитальные вложения в центры обработки данных искусственного интеллекта (с выкупом и выплатой дивидендов придется подождать), была вознаграждена ростом на 50%, увеличив рыночную капитализацию на 150 миллиардов долларов. В настоящее время, по оценкам, доля ИИ в спросе на электроэнергию в США, выражающаяся однозначной цифрой (и быстро растущая), также невелика, поэтому даже коммунальные предприятия активизировались и рассматриваются как смежные с ИИ сферы. Щупальца ИИ-бума длинны и разнообразны. Когда вы суммируете все это, вы говорите о существенной доле в мировой рыночной капитализации.

Короче говоря, устойчивость текущего суперцикла капиталовложений в ИИ абсолютно необходима для рыночных (и экономических) перспектив, а при асимметричных оценках в основном предполагается, что бум продолжится, в то время как, если рынок ошибается, многие оценки могут упасть на 50-90%. Ставки огромны и имеют такие масштабы, что при медвежьем сценарии могут привести к краху рынка исторических масштабов, а “повальное увлечение LLM” займет свое место наряду с dot.com, GFC и covid - заметные исторические рыночные события этого столетия.

Между прочим, это не обязательно означает, что в будущем искусственный интеллект не сможет преобразовать мир. Интернет воплотил в жизнь все, на что надеялись и о чем мечтали "быки" в 1990-х годах, и даже больше. Но у нас все равно был огромный пузырь, который лопнул в 2000-2003 годах. Не нужно быть пессимистом в отношении долгосрочных перспектив развития ИИ, чтобы поверить в огромное несоответствие между текущими ожиданиями и реалистичными среднесрочными перспективами. И экономические реалии также имеют значение, а не только технологические тенденции.

Более того, несмотря на быстрое замедление темпов, в области искусственного интеллекта/LLM, вероятно, будет наблюдаться по крайней мере некоторый прогресс. Уместный вопрос заключается в том, будет ли этого достаточно, чтобы оправдать огромные экономические затраты. Уже существует огромное несоответствие между затратами на ИИ/капиталовложениями и доходами, и, по-видимому, оно будет быстро усугубляться. Если это действительно так, финансовая расплата - это только вопрос времени.

От оправданной шумихи до мыльного пузыря; законы о масштабировании “прогибаются”.
Как и большинство "пузырей", мания LLM начиналась с прочного фундамента, но теперь переросла в нездоровый, иррациональный ажиотаж. Первоначальная шумиха вокруг LLM была оправдана. Результаты первых моделей LLM (в частности, ChatGPT-3) не только удивили, но и показали, что они быстро совершенствуются и соответствуют так называемым “законам масштабирования”. Последнее было убеждением / предположением / эмпирическим наблюдением, что все, что требовалось для создания более эффективных моделей, - это (после сбора всех данных из Интернета) увеличить объем вычислений на порядки, увеличить количество параметров и тренируйте модели дольше, и бум, вы получите значительный прирост производительности..

Этот оптимизм усилился, когда законы масштабирования были применены к ChatGPT-4 – увеличение объема вычислений на порядок привело к значительному увеличению производительности в точном соответствии с предсказаниями закона масштабирования. У людей кружилась голова от волнения, и они уверенно экстраполировали полученные результаты, поскольку законы масштабирования, казалось бы, подразумевали ускоренный переход к AGI.

В той мере, в какой эти предположения оправдывались, ажиотаж был оправдан. До появления AGI оставалось всего несколько лет – это действительно было очень важно. Я полагаю, именно это заставило таких людей, как Эрик Шмидт, утверждать, что искусственный интеллект на самом деле был “недооценен”. Это должно было стать революционным во многих отношениях. Более того, по ходу дела пришло понимание, что LLM не просто статистически предсказывают текст, но и разрабатывают внутреннюю модель мира, вобрав в себя не просто символические слова, но и лежащий за ними смысл. В конце концов, лучший способ предсказать текст - это на самом деле понять значение, которое представляют слова. Я тоже какое-то время придерживался этой точки зрения, и мне казалось, что она действительно указывает на появление искусственного интеллекта. Будущее действительно выглядело интересным.

Хьюстон, у нас проблема…
Проблема в том, что последние данные ставят под сомнение многие из этих основополагающих предположений. Наиболее важным событием является то, что “закон масштабирования”, по–видимому, нарушается - увеличение объема вычислений больше не обеспечивает пропорционально значимого повышения производительности модели. Действительно, возможно даже, что будущие модели начнут ухудшаться из-за “загрязнения” ИИ обучающего набора данных (подробнее об этом ниже).

Более того, появляются свидетельства того, что у LLM есть фундаментальные ограничения в их способности рассуждать, и, в отличие от раннего спекулятивного оптимизма, похоже, что на самом деле у них нет внутренних моделей мира, а вместо этого они являются просто сложными механизмами имитации. Ненадежные выходные данные, или “галлюцинации”, становятся все более распространенными и на самом деле могут быть неизлечимой особенностью архитектуры LLM, а не просто временными помехами. В той мере, в какой это окажется правдой, LLM может оказаться тупиковым направлением, а подлинные прорывы в области искусственного интеллекта/AGI могут потребовать от нас “вернуться к чертежной доске” с RL и/или совершенно новыми и более целенаправленными архитектурами, что потенциально усложнит задачу и отбросит нас на десятилетия назад по сравнению с предыдущими ожиданиями.

Наиболее важным событием является то, что начиная с версии ChatGPT-4, которая была значительно улучшена по сравнению с версией 3, законы масштабирования начали нарушаться. ChatGPT-5, на разработку которого ушло более 2 лет и который был выпущен с опозданием (возможно, OpenAI столкнулся с проблемами за закрытыми дверями), стал большим разочарованием, в лучшем случае обеспечив лишь незначительные улучшения (некоторые пользователи даже считают, что он уступает ChatGPT-4), несмотря на еще один порядок вычислительных мощностей. В более широком смысле, темпы развития базовых моделей, похоже, быстро замедляются, и конкурирующие модели с разным доступом к вычислительным ресурсам асимптотически сближаются, вместо того чтобы крупнейшие игроки вырывались все дальше и дальше вперед (что можно было бы ожидать в мире законов масштабирования).

Акцент также смещается с предварительной подготовки на постмодельную подготовку (*pre-training to post-model training), включая использование методов RL для корректировки/ улучшения результатов. Если бы предварительная тренировка по–прежнему приносила огромные выгоды по “закону масштабирования”, они бы не беспокоились о post training - усилия не стоили бы того и были бы ничтожны по сравнению с результатами предварительной тренировки. Часто эти изменения направлены на повышение производительности в различных тестовых моделях и носят скорее косметический характер. Такое смещение акцентов является дополнительным косвенным доказательством.

Закон масштабирования - это, конечно, не закон, а просто эмпирическое наблюдение, предположение и надежда. Не существует такого естественного закона, который обещал бы более интеллектуальные LLM в обмен на увеличение вычислительной мощности, и предположение о бесконечном масштабировании, а не об уменьшающейся отдаче, вероятно, всегда вызывало сомнения, как давно утверждали такие наблюдатели, как Гэри Маркус. Если у вас такой же объем данных (большая часть Интернета уже очищена), действительно ли разумно полагать, что каждый дополнительный порядок вычислений приведет к таким же экспоненциальным улучшениям, а не к быстрому снижению?

Помимо проблем с масштабированием, появляется все больше свидетельств того, что LLM имеют фундаментальные ограничения в своих способностях к логическому мышлению. Недавнее влиятельное исследование “Иллюзия мышления” (*The Illusion of Thinking), посвященное анализу цепочки мышления LLM, показало, что рассуждения ИИ скорее иллюзорны, чем реальны. Это основная причина, по которой “галлюцинации” никуда не делись, и становится все более вероятным, что они являются неотъемлемой чертой архитектуры LLM.

Более того, идея о том, что LLM разрабатывают внутреннюю модель мира, также ставится под сомнение. Это проявляется в том факте, что, несмотря на все сложные результаты, которые они могут генерировать, они по-прежнему допускают элементарные ошибки. Кэл Ньюпорт подчеркнул, что GPT иногда будут предлагать запрещенные шахматные ходы, что демонстрирует фундаментальное отсутствие какой-либо “мировой модели” в шахматах, в то время как Гэри Маркус отметил, что диффузионные модели часто дают вам неправильное количество (например) теннисных ракеток по запросу. Это согласуется с тем, что модели не имеют представления о генерируемых ими выходных данных. LLM - это имитационные модели, а не логические модели; сложные механизмы угадывания текста. Они создают иллюзию интеллекта, но на самом деле ничего не понимают. Они даже не могут отличить, когда их обучают, а когда они используются.

Действительно, на более фундаментальном уровне можно утверждать, что LLM вообще не обладают интеллектом. В этом превосходном глубоком обсуждении истинной природы интеллекта (смотрите также эту презентацию здесь) Рич Саттон убедительно доказывает, что LLM не являются по-настоящему умными, потому что они не способны к обучению и адаптации посредством целенаправленного взаимодействия с реальным миром. В отличие от интеллектуальных агентов, таких как люди, они не применяют себя и не учатся одновременно в активном контакте со своим окружением – они полагаются на обучение с использованием полученных из вторых рук данных, выраженных в тексте, а при развертывании они находятся в состоянии застоя и не приобретают новых знаний или адаптируются к новому опыту. Поэтому у них есть фундаментальная неспособность постоянно извлекать уроки из мира, в котором они находятся.

Саттон считает, что фундаментальная архитектура LLM делает невозможным получение подлинных интеллектуальных данных; лучшее, что они могут сделать, - это синтезировать (плагиат?) существующие данные, созданные человеком, и воспроизвести их с некоторой степенью ненадежности. Более того, они не способны генерировать по-настоящему новые идеи; например, если бы они были построены в 1900 году, они не смогли бы создать теорию относительности de novo до Эйнштейна, поскольку у них нет способности взаимодействовать с реальным миром и адаптивно извлекать уроки из него. Если он прав на этот счет, то LLM может оказаться фундаментальным тупиком в стремлении к ИИ.

Еще одна проблема, о которой почти не говорят, заключается в том, что по мере того, как все больше контента в Интернете генерируется искусственным интеллектом, база данных для обучения будет все больше “загрязняться”. Изначально искусственный интеллект был обучен на 100% человеческому вкладе, и хотя этот вклад различен по своему качеству, он, по крайней мере, представляет собой вдумчивое отражение действий людей, действующих в реальном мире. Однако контент с использованием искусственного интеллекта содержит случайный галлюциногенный шум, генерируемый LLM, и по мере того, как внедрение LLM растет, а все больше и больше онлайн-контента, который можно использовать для утилизации, становится генерируемым искусственным интеллектом, “загрязнение” ИИ будет усиливаться, возможно, до такой степени, что качество моделей действительно может начать снижаться (это умозрительно, но это реальная возможность).

В этом видео Kurzgesagt хорошо обсуждается эта динамика. Их усилия по использованию ИИ для облегчения создания контента о планетах коричневых карликов привели к тому, что они столкнулись со многими поддельными исследованиями / фактами, основанными на ИИ-галлюцинациях, которые были обнаружены при тщательной проверке источников. Впоследствии другие, менее строгие каналы включили поддельный контент с искусственным интеллектом в свои видеоролики, которые набрали сотни тысяч просмотров. В будущем модели искусственного интеллекта будут использовать видеоролики с ложными фактами, созданными искусственным интеллектом, в качестве авторитетных источников обучения, и у них нет архитектурного способа исправления ошибок, поскольку у них нет внутренней модели мира или присущей им способности напрямую взаимодействовать с миром или рассуждать, а только усваивать то, что им дают. Это потенциально предвещает серьезную проблему в будущем, поскольку LLM не смогут отличить контент, созданный искусственным интеллектом, от контента, созданного человеком.

Использование материалов LLM в какой-то степени сродни чтению материалов плохого журналиста. Если вы мало знаете о фактах, лежащих в их основе, результаты кажутся достоверными и впечатляющими. Но чем больше вы знаете о реальных событиях, тем больше фактических неточностей становится очевидным для вас. Результаты LLM на первый взгляд впечатляют, если вам не хватает базовых знаний в предметной области, но чем больше вы знаете, тем очевиднее становятся ограничения результатов LLM.

Сегодня используется такая степень веры и ажиотажа, а не принципиальное мышление, что “искусственный интеллект” стал синонимом “LLM”. Но LLM - это не искусственный интеллект, это очень специфический алгоритм нейронной сети, который создает сложный механизм угадывания текста. В некоторых случаях это может быть полезно, но все чаще кажется, что у них есть фундаментальные ограничения, которые не приведут к развитию AGI, не приведут к подлинным научным прорывам и не приведут к чуду производительности.

В чем заключается преимущество производительности?
Это подводит меня к следующему вопросу: где же хваленые преимущества в производительности? В то же время, по мере того как возможности LLM начали стремительно сокращаться (несмотря на экономические издержки, связанные с этими усовершенствованиями, которые быстро растут), появляется все больше исследований, указывающих на очевидный недостаток преимуществ для производительности от внедрения LLM (это видео ColdFusion, снятое не менее технооптимистом, является полезным учебником). Недавнее исследование Массачусетского технологического института, получившее высокую оценку, показало, что до 95% компаний, которые пытались внедрить искусственный интеллект внутри компании, не увидели никаких преимуществ в повышении производительности. Удивительно, но даже было проведено исследование, показавшее, что программисты, использующие LLM, были менее эффективны. Кэл Ньюпорт объясняет это менее глубокой работой и меньшим вниманием разработчиков, а также неизбежной необходимостью отлаживать ошибки в коде, сгенерированном с помощью GPT.

Более того, есть даже свидетельства того, что это может снижать производительность компании из-за “простоев в работе”, что приводит к появлению (иногда хорошо скрытых) ошибок, для обнаружения и исправления которых требуются усилия человека. Несомненно, существует также неэффективность, связанная с тем, что сотрудники низшего звена вынуждены изо всех сил выполнять требования руководства по внедрению “искусственного интеллекта” в рабочие процессы, что в настоящее время LLM принципиально неспособны обеспечить.

На заре развития Интернета было широко распространено мнение, что он станет безусловным благом для производительности труда человека, поскольку обеспечит всему миру легкий и мгновенный доступ к информации. Хотя мы и наблюдали кое-что из этого, мы также видели, как люди теряют концентрацию и тратят много времени на социальные сети и онлайн-игры. В сети сомнительно, что это привело к каким-либо положительным результатам в плане производительности. В идеальном мире LLM могла бы способствовать приобретению знаний, но, вероятно, с такой же вероятностью она делает людей более ленивыми; разрушает способность к глубокой работе и концентрации; и делает людей более восприимчивыми к дезинформации, затрудняя определение подлинно авторитетных источников и сокращая потребление первичных источников в пользу вторичных, созданных LLM.

Лично я считаю, что в узкоспециализированных ситуациях (например, для меня) LLM может повысить производительность, ускорив получение знаний, и мне кажется, что это, вероятно, может помочь лучшим (или, по крайней мере, наиболее мотивированным) программистам. Однако LLM полезны только в качестве контролируемого инструмента, а не для полной замены персонала. Они наиболее полезны для людей, которым достаточно “приблизительно правильных” ответов (например, для исследования акций), и где опытный оператор с критическим мышлением может исследовать ответы, задавать вопросы и самостоятельно проверять важные утверждения. Это лучше всего рассматривать как беседу со знающим человеком; вы можете многому научиться, но вы также не можете / не должны верить в то, что все, что они говорят, на 100% верно; вы должны проанализировать это и подвергнуть сомнению ответы, которые вас не удовлетворяют.

С этой целью LLM являются полезным ресурсом для некоторых высокопроизводительных специалистов узких профессий, но они не подходят для большинства корпоративных приложений, где для автоматизации основных бизнес-процессов требуется 100% точность и надежность, поскольку LLM не в состоянии обеспечить такую степень надежности. Все разговоры о том, что искусственный интеллект заменит людей и приведет к росту производительности, основывались на предположении, что законы масштабирования будут соблюдены и приведут LLM к AGI, а галлюцинации исчезнут, но эта наивная экстраполяция несовместима с тем, что происходит в настоящее время.

LLM казались (и, возможно, были) слишком хороши, чтобы быть правдой – идея, что мы могли бы перейти на AGI, просто подключив больше графических процессоров и позволив им работать. Но эти “неудобные истины” означают, что достижение подлинного искусственного интеллекта и связанных с ним преимуществ в производительности может оказаться гораздо более сложной, если не сказать неразрешимой задачей – например, автономное вождение, которое уже 15 лет “не за горами” (а мы все еще находимся на уровне L2 против L5 в плане полной автономии).

Последний удар по воротам
Несмотря на вышесказанное, индустрия искусственного интеллекта, тем не менее, удваивает ставки, даже будучи в курсе сбоев в законах о масштабировании и дальнейшего существенного увеличения капитальных вложений. Нам предстоит продвинуться еще на один порядок, и мы, очевидно, собираемся это попробовать. Проект OpenAI Stargate нацелен на то, чтобы привлечь до полтриллиона долларов вычислений для своих следующих моделей. Эта постоянная приверженность является одной из причин того, что акции ИИ выросли за последний месяц, несмотря на накопление ощутимых признаков пузыря, потому что в краткосрочной и среднесрочной перспективе бум продолжится, и поставщики кирки и лопат продолжат зарабатывать.

Но это последнее увеличение капиталовложений на порядок для повышения производительности LLM будет последним. Следующий этап в 5 трлн долларов США не по карману даже гиперскейлерам. Центры обработки данных (включая центры, не использующие искусственный интеллект) уже потребляли 4,4% электроэнергии в США в 2023 году и с тех пор должны были резко вырасти, поскольку все большая доля потребления энергии приходится на обучение ИИ (Министерство энергетики США прогнозирует, что к 2028 году центры обработки данных будут потреблять 6,7-12% всего спроса на электроэнергию в США). Давайте назовем это примерно 2% для ИИ конкретно в настоящее время. Она не может вырасти до 20%, а затем и до 200% (конечно, более производительные чипы помогут, но даже с учетом стремительного роста производительности чипов Nvidia, который также со временем уменьшится, энергопотребление и капитальные затраты растут как на дрожжах).

Если следующий этап капитальных вложений не принесет ощутимой прибыли, то нарушение законов о масштабировании и присущие LLM ограничения станут очевидными. Самые дорогие модели будут, возможно, на два порядка менее экономичными, что вынудит перейти к более энергоэффективным, но менее мощным моделям (а-ля DeepSeek) с радикально урезанным коммерческим потенциалом. Затем произойдет неизбежный обвал капиталовложений (особенно с учетом того, что базовые чипсеты становятся все более производительными и быстро вытесняют устаревшие микросхемы), и в отрасли останется огромное количество избыточных мощностей (в основном за счет крупных облачных компаний, а также некоторых компаний-основоположников, таких как OpenAI, которые ежегодно тратят сотни миллиардов долларов на учебные кластеры LLM GPU).

В этом сценарии цены на акции многих компаний, занимающихся ИИ, скорее всего, упадут на 90% и более; Nvidia, скорее всего, упадет на 60-80%; компании, занимающиеся поставками чипов, вероятно, упадут на 50%; и игроки, занимающиеся сверхмасштабными облачными вычислениями, которые столкнутся с сокращением доходов и значительным увеличением расходов на амортизацию комплектов ИИ, также снизятся на 30-50%, поскольку доходы от облачных вычислений сократятся, как и агрессивные ожидания роста в будущем. И стартапы с искусственным интеллектом в большом количестве потерпят неудачу. OpenAI, скорее всего, выживет, учитывая, что он поддерживается Microsoft, а ChatGPT по-прежнему будет полезен и сможет поддерживать ряд потребительских подписок, но в значительно уменьшенном виде и по значительно более низкой цене.

Но все это вызывает вопрос: почему, учитывая очевидное ухудшение законодательства о масштабировании, отрасль по-прежнему наращивает капитальные вложения как сумасшедшая? Знают ли они что-то, чего не знаем мы? Возможно, это в равной степени связано с тем, что они отчаянно пытаются найти решение запутанных законов масштабирования, а не с их неизменной верой в них. Одним из возможных вариантов является “многоцелевой” подход (например, получить 100 ответов вместо 1 и обобщить их и/или подумать дольше) - еще один удар по воротам, который, как они надеются, приведет к целевому повышению производительности.

Но правда в том, что компании, создающие модели и другие стартапы в области искусственного интеллекта, уже полностью подчинились законам о масштабировании LLM и не имеют альтернативы / плана Б. Большинство компаний, создающих модели ИИ / foundation, теряют огромные суммы денег и должны поддерживать мечту о масштабировании, чтобы продолжать привлекать капитал. Учитывая, что вся экосистема искусственного интеллекта (а не облачные провайдеры, которые пока зарабатывают деньги) терпит убытки, признание поражения приведет к прекращению финансирования и быстрому банкротству.

Более того, люди не хотят рисковать, занимая противоположную позицию и оказываясь неправыми. Что, если LLM все-таки перейдут на AGI? Если вы не будете инвестировать, вы останетесь позади и будете выглядеть глупо из–за того, что упустили шанс - это может стоить генеральному директору его работы. В этом интервью Марк Цукерберг использовал аргументацию “мы можем себе это позволить, и мы не можем позволить себе рисковать упущенным”, чтобы оправдать расходы в несколько сотен миллиардов долларов на набор для обучения LLM. Между тем, облачные компании просто реагируют на высокий спрос на вычисления со стороны убыточного комплекса искусственного интеллекта. Им необходимо инвестировать, чтобы удовлетворить этот спрос, или же уступить долю в том, что может стать основным фактором роста бизнеса облачных вычислений в будущем. Но что, если спрос иссякнет, и они останутся с сотнями миллиардов неиспользуемых комплектов? Они готовы пойти на этот риск, потому что могут себе это позволить, и потому что они не могут позволить себе рисковать упущенным.

Но как насчет Дженсона, который по-прежнему настроен оптимистично? На самом деле, сейчас он принимает основные инвестиции в компании / заказчиков в области искусственного интеллекта, включая инвестиции в OpenAI стоимостью 100 миллиардов долларов (которые он считает верной ставкой)? Я давно являюсь большим поклонником Дженсона Хуанга и слежу за Nvidia уже 10 лет (хотя никогда не владел ее акциями). Я считаю его высококомпетентным, невероятно внятным, приземленным и "не брехуном". Несмотря на свои инстинкты "против толпы", я долгое время воздерживался от того, чтобы называть (или считать) NVDA "пузырём", поскольку в период масштабирования бум LLM имел под собой реальную основу.

NVDA – феноменальная компания с потрясающими возможностями в области управления и надежной экосистемой разработчиков CUDA, а их неустанный темп внедрения инноваций и внедрения решений практически не позволяет кому-либо догнать их - до тех пор, пока среда остается динамичной. Все лучшие люди хотят работать там, работать с самыми лучшими и талантливыми и иметь в своем резюме Nvidia. Дженсон в одиночку создал одну из лучших компаний в мире и является живой легендой.

Но в последнем интервью Дженсена (здесь) мне впервые пришло в голову, что он, возможно, позволил увлечь себя шумихе; это была головокружительная поездка на сегодняшний день, так можно ли его винить? Возможно, он прав? Или, возможно, он просто очень хорош в управлении компанией по производству чипов и поддался гордыне – в конце концов, он всего лишь человек (едва ли). Время покажет.

Что с этим делать?
Я не завидую руководителям крупных организаций. Как в том dot.com однако, если вы сделаете ставку против него слишком рано и / или в конечном счете окажетесь неправы, это может привести к катастрофическим последствиям для вашей карьеры. Однако, если вы правы и сможете выдержать краткосрочные трудности, "пузырь" может создать возможность для карьерного роста, избежав последствий. Нынешняя ситуация выглядит аналогично. К счастью, как менеджер нишевого бутика, я могу просто отказаться от участия в этой игре, но руководителям крупных организаций приходится сложнее (хотя на самом деле большинство из них просто имеют рыночно-взвешенный портфель).

Тем не менее, сейчас наступил немного более легкий момент, потому что стоимость акций крупных компаний, занимающихся технологиями искусственного интеллекта, уже находится на головокружительном уровне, который отражает годы очень уверенного роста, в то время как фундаментальные показатели уже начали ухудшаться. Это не значит, что если вы будете избегать акций, то не сможете катастрофически проиграть, когда оценки перейдут от высокого уровня к абсолютному безумию (а в некоторых случаях это уже произошло), но, тем не менее, сейчас ставить против LLM-мании менее рискованно, чем год или два назад. Тем не менее, рынки могут делать безумные вещи в течение длительных периодов времени - удачи вам, она вам понадобится!!

Для остальных из нас наилучшие возможности могут заключаться в покупке акций, которые были распроданы из-за чрезмерных опасений сбоев в работе искусственного интеллекта (я не люблю открывать короткие позиции по причинам, рассмотренным в предыдущих постах, а долгосрочные опционы на продажу, скорее всего, стоят дорого). Одним из таких примеров является Gartner, хотя акции которого в настоящее время дешевеют лишь незначительно, и рыночный мультипликатор в целом, скорее всего, снизится в условиях крупного медвежьего рынка, основанного на искусственном интеллекте. Я нашел одного кандидата во Франции, но пока не готов делиться им, поскольку все еще покупаю.

Что, если я ошибаюсь? Тогда я теряю возможность покупать очень дорогие акции, которые, вероятно, не принесут в долгосрочной перспективе доходности выше среднего по сравнению с текущими уровнями, даже если бум на рынке LLM продолжится; и даже если это произойдет, это повлечет за собой очень значительные риски. Это возможность, от которой я с удовольствием отказываюсь.

Как бы то ни было, я должен повторить предостережение, которое я изложил ранее. Помимо того, что это сложная и быстро развивающаяся область, в которой даже профи карьеры придерживаются самых разных мнений, я не являюсь экспертом в области технологий и искусственного интеллекта и уделяю этому всего 1-2% своего времени, хотя мои взгляды во многом опираются на мнение экспертов – особая заслуга Рича Саттона, Кэла Ньюпорта (особенно в этом интервью) и Гэри Маркуса за медвежий сценарий; о бычьем сценарии я почерпнул больше всего информации от Дженсона Хуанга и Джеффри Хинтона. Я могу ошибаться.

Будет интересно посмотреть, как будут развиваться события. Спад, скорее всего, произойдет в 2027-28 годах, чем в 2026 году, поскольку до тех пор мы не увидим результатов недавних усилий по масштабированию, хотя всегда возможно, что рынки рухнут раньше (и любое связанное с этим сокращение доступного финансирования для стартапов в области ИИ рефлексивно повлияет на спрос на вычисления). Но не ставьте шкуру на кон – в конце концов, “кто, черт возьми, знает” - это самый безопасный вывод по такому сложному и быстро меняющемуся вопросу.