10 октября 2024 Bloomberg
Создание более крупных моделей ИИ, чипов и центров обработки данных заставляет технологические компании увеличивать расходы.
Как пишет Bloomberg, 18 месяцев бума искусственного интеллекта привели к тому, что некоторые технологические компании начали на нем зарабатывать. Однако он остается и огромной денежной ямой.
Корпорации Microsoft и Alphabet сообщили о росте доходов в сегменте облачных технологий в квартальных отчетах. Их клиенты больше тратили на услуги в сфере ИИ. Meta Platforms (признана в России экстремистской и запрещена) хотя и отстает в монетизации технологии, заявила, что ее работа в области искусственного интеллекта помогла увеличить вовлеченность пользователей и таргетинг рекламы.
Для достижения первых успехов три компании потратили миллиарды на разработку искусственного интеллекта и планируют потратить на него еще больше. Так, 25 апреля Microsoft заявила, что потратила $14 млрд на капитальные вложения в последнем квартале и ожидает, что затраты «значительно вырастут», отчасти из-за инвестиций в инфраструктуру искусственного интеллекта. Эта сумма на 79%, чем кварталом ранее.
Компания Alphabet сообщила, что за квартал потратила $12 млрд, что на 91% больше, чем годом ранее. По плану до конца года ее затраты останутся на том же уровне или даже вырастут из-за ИИ. Meta (признана в России экстремистской и запрещена) повысила свои оценки инвестиций на год до $35-40 млрд, что на 42% больше, чем в верхнем пределе прошлого диапазона. Компания также упоминала активные инвестиции в исследования в области искусственного интеллекта и разработку продуктов.
Рост стоимости ИИ застал некоторых инвесторов врасплох. Акции Meta (признана в России экстремистской и запрещена), упали из-за прогноза растущих расходов и с более медленного роста продаж.
В технологической отрасли считается, что стоимость ИИ будет расти по двум основным причинам. Во-первых, модели ИИ становятся всё больше и дороже в разработке. Во-вторых, глобальный спрос на услуги ИИ требует создания гораздо большего количества центров обработки данных для его поддержки.
Компании, которые экспериментируют с ИИ, тратят миллионы на настройку продуктов от OpenAI или Google. Затем каждый раз, когда сотрудник отправляет запрос чат-боту или просит сервис ИИ проанализировать данные о продажах, возникают дополнительные расходы.
Самая дорогостоящая работа - создание основы для систем ИИ. Давайте поговорим о ней.
Большие языковые модели растут
Самые известные ИИ продукты, в том числе ChatGPT от OpenAI, работают на основе больших языковых моделей - систем, которые обрабатывают огромные объёмы данных, включая книги, статьи и комментарии, чтобы давать лучшие ответы на запросы пользователей.
Ведущие компании в сфере ИИ делают ставку на то, что путь к более сложному искусственному интеллекту, возможно, даже к системам ИИ, которые смогут превзойти людей во многих отношениях, лежит через увеличение размеров больших языковых моделей. Для этого требуется больше данных, вычислительной мощности, а также более длительная подготовка систем ИИ.
В интервью для подкаста Bloomberg Дарио Амодей, генеральный директор конкурирующей с OpenAI компании Anthropic, рассказал, что подготовка современных моделей ИИ на рынке стоит около $100 млн.
«Модели, которые сейчас проходят обучение и появятся в этом или в начале следующего года, стоят ближе к $1 млрд», - заявил он. «В 2025-26 годах их стоимость вырастет до $5-10 млрд».
Чипы и затраты на вычисления
Большая часть затрат связана с чипами. Речь не о компьютерных процессорах, которые сделали корпорацию Intel знаменитой, и не об их урезанных мобильных аналогах, на которых работают миллиарды смартфонов. Для обучения больших языковых моделей компании, занимающиеся искусственным интеллектом, полагаются на графические процессоры, которые могут обрабатывать огромные объемы данных на высоких скоростях. Эти чипы не только в дефиците, но и очень дорогие. Самые инновационные производятся в основном одной компанией - Nvidia.
Графический чип Nvidia H100, золотой стандарт для обучения моделей искусственного интеллекта, продается примерно за $30 тыс, а реселлеры предлагают его во много раз дороже. Крупным технологическим компаниям их нужно много. Глава Meta (признана в России экстремистской и запрещена) говорил, что его компания планирует приобрести 350 тыс. чипов H100 к концу этого года для исследований в области искусственного интеллекта. Даже если он получит скидку при оптовых закупках, такое количество обойдется в миллиарды долларов.
Компании могут работать, не покупая чипы, но и арендовать их тоже дорого. Облачное подразделение Amazon сдает клиентам в аренду большой кластер высокопроизводительных процессоров Intel примерно за $6 в час. Для сравнения, группа чипов Nvidia H100 стоит почти $100 в час.
В прошлом месяце Nvidia представила новую конструкцию процессора под названием Blackwell, которая в несколько раз быстрее обрабатывает большие языковые модели и, как ожидается, будет стоить примерно столько же, сколько линейка Hopper, в которую входит H100. Nvidia заявила, что для обучения модели ИИ с 1,8 трлн параметров потребуется около 2 тыс. графических процессоров Blackwell. Это приблизительный размер GPT-4 от OpenAI. Nvidia заявила, что для выполнения той же задачи требуется 8 тыс. графических процессоров Hopper. Но это улучшение может быть нивелировано стремлением отрасли создавать более крупные модели ИИ.
Центры обработки данных
Компаниям, которые покупают эти чипы, нужно куда-то их девать. Крупные поставщики облачных технологий и вычислительной мощности в аренду стремятся построить новые серверные фермы. Эти здания, как правило, возводятся на заказ. В них хранятся стойки с жесткими дисками, процессорами, системами охлаждения, а также множество электрооборудования и резервных генераторов.
По оценкам исследовательской компании Dell’Oro Group, в этом году компании потратят $294 млрд на строительство и оснащение центров обработки данных. Для сравнения, в 2020-ом на них было потрачено $193 млрд. Большая часть этого увеличения связана с ростом популярности цифровых услуг - потокового видео, корпоративных данных, личных аккаунтов в социальных сетях. Однако всё большая часть этих расходов приходится на дорогостоящие чипы Nvidia и другое специализированное оборудование, необходимое для поддержки бума искусственного интеллекта.
По данным аналитической компании DC Byte, в настоящее время в мире насчитывается более 7 тыс. центров обработки данных, включая объекты на различных стадиях разработки, по сравнению с 3,6 тыс. в 2015 году. Объекты также становятся значительно больше. По данным DC Byte, средний размер зданий центров обработки данных по всему миру сейчас составляет 38 276 тыс. квадратных метров, что почти в пять раз больше по сравнению с 2010 годом.
Лицензии и таланты
Хотя львиная доля расходов приходится на чипы и центры обработки данных, некоторые компании, занимающиеся искусственным интеллектом, также тратят миллионы на лицензирование данных у издателей.
OpenAI заключила сделки с несколькими европейскими издателями на включение их новостного контента в ChatGPT, а также на обучение своих моделей искусственного интеллекта. Финансовые условия этих сделок не разглашаются, но Bloomberg News ранее сообщал, что OpenAI согласилась выплатить десятки миллионов евро Axel Springer SE, немецкому издателю Politico и Business Insider, за право использования его новостных статей. Стартап также провел переговоры с Time, CNN и Fox News о лицензировании контента.
В то время как OpenAI активно заключает лицензионные соглашения, другие крупные технологические компании также ищут способы получить языковые данные, необходимые для создания эффективных инструментов ИИ. По сообщению Reuters, Google заключила сделку на $60 млн по лицензированию данных с Reddit. А сотрудники Meta (признана в России экстремистской и запрещена), как сообщает New York Times, якобы обсуждали покупку книжного издательства Simon & Schuster.
Технологические компании также вовлечены в лихорадочную войну за таланты в области искусственного интеллекта. В прошлом году Netflix объявила о вакансии менеджера по продуктам искусственного интеллекта с зарплатой до $900 тыс.
Более доступные альтернативы
Компания Microsoft, которая больше других способствовала ажиотажу вокруг больших языковых моделей, недавно заявила, что попробует другой подход. Компания анонсировала три меньшие по размеру модели ИИ, которые требуют меньше вычислительных ресурсов.
В Microsoft заявили, что большие языковые модели «по-прежнему будут золотым стандартом для решения многих типов сложных задач», таких как «сложные рассуждения, анализ данных и понимание контекста». Но для некоторых клиентов и сценариев использования могут быть достаточными и более мелкие модели. Другие компании, в том числе Sakana AI, стартап, основанный двумя бывшими сотрудниками Google, также ориентируются на более мелкие модели.
«Вам не всегда нужен спортивный автомобиль», - заявил Роуэн Каррен, старший аналитик Forrester Research, специализирующийся на искусственном интеллекте. - «Иногда вам нужен минивэн или пикап. На рынке не будет одного класса моделей, применимых во всех случаях».
Однако на данный момент общепринятое мнение в сфере ИИ - чем больше, тем лучше. Такой подход дорого обойдётся.
http://www.bloomberg.com/ (C) Источник
Не является индивидуальной инвестиционной рекомендацией | При копировании ссылка обязательна | Нашли ошибку - выделить и нажать Ctrl+Enter | Отправить жалобу
Как пишет Bloomberg, 18 месяцев бума искусственного интеллекта привели к тому, что некоторые технологические компании начали на нем зарабатывать. Однако он остается и огромной денежной ямой.
Корпорации Microsoft и Alphabet сообщили о росте доходов в сегменте облачных технологий в квартальных отчетах. Их клиенты больше тратили на услуги в сфере ИИ. Meta Platforms (признана в России экстремистской и запрещена) хотя и отстает в монетизации технологии, заявила, что ее работа в области искусственного интеллекта помогла увеличить вовлеченность пользователей и таргетинг рекламы.
Для достижения первых успехов три компании потратили миллиарды на разработку искусственного интеллекта и планируют потратить на него еще больше. Так, 25 апреля Microsoft заявила, что потратила $14 млрд на капитальные вложения в последнем квартале и ожидает, что затраты «значительно вырастут», отчасти из-за инвестиций в инфраструктуру искусственного интеллекта. Эта сумма на 79%, чем кварталом ранее.
Компания Alphabet сообщила, что за квартал потратила $12 млрд, что на 91% больше, чем годом ранее. По плану до конца года ее затраты останутся на том же уровне или даже вырастут из-за ИИ. Meta (признана в России экстремистской и запрещена) повысила свои оценки инвестиций на год до $35-40 млрд, что на 42% больше, чем в верхнем пределе прошлого диапазона. Компания также упоминала активные инвестиции в исследования в области искусственного интеллекта и разработку продуктов.
Рост стоимости ИИ застал некоторых инвесторов врасплох. Акции Meta (признана в России экстремистской и запрещена), упали из-за прогноза растущих расходов и с более медленного роста продаж.
В технологической отрасли считается, что стоимость ИИ будет расти по двум основным причинам. Во-первых, модели ИИ становятся всё больше и дороже в разработке. Во-вторых, глобальный спрос на услуги ИИ требует создания гораздо большего количества центров обработки данных для его поддержки.
Компании, которые экспериментируют с ИИ, тратят миллионы на настройку продуктов от OpenAI или Google. Затем каждый раз, когда сотрудник отправляет запрос чат-боту или просит сервис ИИ проанализировать данные о продажах, возникают дополнительные расходы.
Самая дорогостоящая работа - создание основы для систем ИИ. Давайте поговорим о ней.
Большие языковые модели растут
Самые известные ИИ продукты, в том числе ChatGPT от OpenAI, работают на основе больших языковых моделей - систем, которые обрабатывают огромные объёмы данных, включая книги, статьи и комментарии, чтобы давать лучшие ответы на запросы пользователей.
Ведущие компании в сфере ИИ делают ставку на то, что путь к более сложному искусственному интеллекту, возможно, даже к системам ИИ, которые смогут превзойти людей во многих отношениях, лежит через увеличение размеров больших языковых моделей. Для этого требуется больше данных, вычислительной мощности, а также более длительная подготовка систем ИИ.
В интервью для подкаста Bloomberg Дарио Амодей, генеральный директор конкурирующей с OpenAI компании Anthropic, рассказал, что подготовка современных моделей ИИ на рынке стоит около $100 млн.
«Модели, которые сейчас проходят обучение и появятся в этом или в начале следующего года, стоят ближе к $1 млрд», - заявил он. «В 2025-26 годах их стоимость вырастет до $5-10 млрд».
Чипы и затраты на вычисления
Большая часть затрат связана с чипами. Речь не о компьютерных процессорах, которые сделали корпорацию Intel знаменитой, и не об их урезанных мобильных аналогах, на которых работают миллиарды смартфонов. Для обучения больших языковых моделей компании, занимающиеся искусственным интеллектом, полагаются на графические процессоры, которые могут обрабатывать огромные объемы данных на высоких скоростях. Эти чипы не только в дефиците, но и очень дорогие. Самые инновационные производятся в основном одной компанией - Nvidia.
Графический чип Nvidia H100, золотой стандарт для обучения моделей искусственного интеллекта, продается примерно за $30 тыс, а реселлеры предлагают его во много раз дороже. Крупным технологическим компаниям их нужно много. Глава Meta (признана в России экстремистской и запрещена) говорил, что его компания планирует приобрести 350 тыс. чипов H100 к концу этого года для исследований в области искусственного интеллекта. Даже если он получит скидку при оптовых закупках, такое количество обойдется в миллиарды долларов.
Компании могут работать, не покупая чипы, но и арендовать их тоже дорого. Облачное подразделение Amazon сдает клиентам в аренду большой кластер высокопроизводительных процессоров Intel примерно за $6 в час. Для сравнения, группа чипов Nvidia H100 стоит почти $100 в час.
В прошлом месяце Nvidia представила новую конструкцию процессора под названием Blackwell, которая в несколько раз быстрее обрабатывает большие языковые модели и, как ожидается, будет стоить примерно столько же, сколько линейка Hopper, в которую входит H100. Nvidia заявила, что для обучения модели ИИ с 1,8 трлн параметров потребуется около 2 тыс. графических процессоров Blackwell. Это приблизительный размер GPT-4 от OpenAI. Nvidia заявила, что для выполнения той же задачи требуется 8 тыс. графических процессоров Hopper. Но это улучшение может быть нивелировано стремлением отрасли создавать более крупные модели ИИ.
Центры обработки данных
Компаниям, которые покупают эти чипы, нужно куда-то их девать. Крупные поставщики облачных технологий и вычислительной мощности в аренду стремятся построить новые серверные фермы. Эти здания, как правило, возводятся на заказ. В них хранятся стойки с жесткими дисками, процессорами, системами охлаждения, а также множество электрооборудования и резервных генераторов.
По оценкам исследовательской компании Dell’Oro Group, в этом году компании потратят $294 млрд на строительство и оснащение центров обработки данных. Для сравнения, в 2020-ом на них было потрачено $193 млрд. Большая часть этого увеличения связана с ростом популярности цифровых услуг - потокового видео, корпоративных данных, личных аккаунтов в социальных сетях. Однако всё большая часть этих расходов приходится на дорогостоящие чипы Nvidia и другое специализированное оборудование, необходимое для поддержки бума искусственного интеллекта.
По данным аналитической компании DC Byte, в настоящее время в мире насчитывается более 7 тыс. центров обработки данных, включая объекты на различных стадиях разработки, по сравнению с 3,6 тыс. в 2015 году. Объекты также становятся значительно больше. По данным DC Byte, средний размер зданий центров обработки данных по всему миру сейчас составляет 38 276 тыс. квадратных метров, что почти в пять раз больше по сравнению с 2010 годом.
Лицензии и таланты
Хотя львиная доля расходов приходится на чипы и центры обработки данных, некоторые компании, занимающиеся искусственным интеллектом, также тратят миллионы на лицензирование данных у издателей.
OpenAI заключила сделки с несколькими европейскими издателями на включение их новостного контента в ChatGPT, а также на обучение своих моделей искусственного интеллекта. Финансовые условия этих сделок не разглашаются, но Bloomberg News ранее сообщал, что OpenAI согласилась выплатить десятки миллионов евро Axel Springer SE, немецкому издателю Politico и Business Insider, за право использования его новостных статей. Стартап также провел переговоры с Time, CNN и Fox News о лицензировании контента.
В то время как OpenAI активно заключает лицензионные соглашения, другие крупные технологические компании также ищут способы получить языковые данные, необходимые для создания эффективных инструментов ИИ. По сообщению Reuters, Google заключила сделку на $60 млн по лицензированию данных с Reddit. А сотрудники Meta (признана в России экстремистской и запрещена), как сообщает New York Times, якобы обсуждали покупку книжного издательства Simon & Schuster.
Технологические компании также вовлечены в лихорадочную войну за таланты в области искусственного интеллекта. В прошлом году Netflix объявила о вакансии менеджера по продуктам искусственного интеллекта с зарплатой до $900 тыс.
Более доступные альтернативы
Компания Microsoft, которая больше других способствовала ажиотажу вокруг больших языковых моделей, недавно заявила, что попробует другой подход. Компания анонсировала три меньшие по размеру модели ИИ, которые требуют меньше вычислительных ресурсов.
В Microsoft заявили, что большие языковые модели «по-прежнему будут золотым стандартом для решения многих типов сложных задач», таких как «сложные рассуждения, анализ данных и понимание контекста». Но для некоторых клиентов и сценариев использования могут быть достаточными и более мелкие модели. Другие компании, в том числе Sakana AI, стартап, основанный двумя бывшими сотрудниками Google, также ориентируются на более мелкие модели.
«Вам не всегда нужен спортивный автомобиль», - заявил Роуэн Каррен, старший аналитик Forrester Research, специализирующийся на искусственном интеллекте. - «Иногда вам нужен минивэн или пикап. На рынке не будет одного класса моделей, применимых во всех случаях».
Однако на данный момент общепринятое мнение в сфере ИИ - чем больше, тем лучше. Такой подход дорого обойдётся.
http://www.bloomberg.com/ (C) Источник
Не является индивидуальной инвестиционной рекомендацией | При копировании ссылка обязательна | Нашли ошибку - выделить и нажать Ctrl+Enter | Отправить жалобу