25 декабря 2023 giovanni1313
4. Эффективность алгоритмов ИИ
Закон Мура уникален в плане технологических и экономических достижений. Но стоящая за ним мотивация — улучшение эффективности продукта, улучшение отдачи на каждый потраченный доллар — является абсолютно универсальной и движет практически всеми технологическими разработками.
Является ли исключением разработка ИИ-моделей? Разумеется, нет! Здесь тоже немалая часть исследовательских усилий направлена на открытие таких алгоритмов, которые позволили бы сделать большее меньшими усилиями. Параллельно экспоненциальному росту размеров моделей и данных для их обучения — путь, где успехи действительно очень наглядны — ведется непрекращающаяся работа по оптимизации ресурсов, необходимых для достижения этих высоких результатов.
Однако попытка количественно оценить скорость прогресса в эффективности алгоритмов наталкивается на отсутствие очевидных, общепризнанных метрик. Для закона Мура такой метрикой является плотность размещения транзисторов на чипе, а также экономический подход — стоимость вычислений с плавающей точкой. За пределами микроэлектроники экономические метрики превалируют: что бы там ни говорил Тим Кук, деньги являются главным мерилом любого успеха. Возьмем такие продукты, как солнечные батареи или светодиодные лампы: падение их стоимости является самым объективным подтверждением практического прогресса.
Однако ИИ, во-первых, сейчас не очень плотно встроен в экономические процессы. Вопрос «сколько стоит ИИ?» сейчас почти лишен какого-либо смысла. Во-вторых, интеллект — штука очень многогранная и неоднозначная. В отличие от солнечных батарей и светодиодов, производительность которых очень легко измерить в вольтах и люменах, сопоставить между собой две ИИ-системы не так просто.
Но это не останавливает попытки оценить алгоритмический прогресс. Правда, для большей надежности результатов приходится жертвовать широтой наблюдений. Одну из таких попыток предприняла уже знакомая нам фабрика мысли ”Epoch AI”.
Исследователи сосредоточились на машинном зрении — узкой и уже довольно зрелой области ИИ. Эта область также удобна тем, что там уже много лет есть эталонный бенчмарк классификации изображений, ImageNet, на котором тестируются все без исключения архитектуры для машинного зрения.
Даже с такими вводными сопоставить результаты разных моделей оказалось не так просто (в основном из-за трудностей с репликацией), и исследователям пришлось основательно налегать на методы экстраполяции. Что несколько снижает надежность выводов. А выводы получились следующими:
С каждым годом затраты ресурсов на достижение 63,3%-ной точности в бенчмарке ImageNet – точности, которой в 2012 достигла нейросеть AlexNet – последовательно снижались. Причём снижались с очень быстрым темпом: в среднем в 2 раза за 9 месяцев. Это означает, что алгоритмический прогресс идёт со значительно более интенсивным темпом, чем прогресс в микроэлектронике в рамках закона Мура. Соответственно, вклад от этого фактора в общую эффективность использования ресурсов пропорционально выше.
Более того, в рамках исследования авторы проводят декомпозицию влияния разных факторов на рост способностей моделей:
В среднем выходит, что около 45% улучшения произошло благодаря алгоритмической эффективности, еще около 45% – за счет увеличения объема вычислений (соотносится с 1-ой и 2-ой экспонентой в рамках этого цикла), оставшиеся 10% - за счет роста обучающих данных (соотносится со 2-ой экспонентой). При этом стоит отметить, что для более поздних лет (последние строчки в таблице) роль алгоритмической эффективности немного падает, замещаясь объемом данных для обучения. Если мы учтем наш вывод по 2-ой экспоненте о том, что данные скоро закончатся, алгоритмическая эффективность может вновь набрать большую значимость.
К сожалению, тема роста эффективности ИИ-алгоритмов является слабо исследованной. Что контрастирует с большим корпусом академических работ по трём предыдущим экспонентам. Существует еще одна, более ранняя попытка, авторы которой получили более медленный темп роста эффективности в машинном зрении — удвоение раз в 16 месяцев. Однако методология и широта исследования от ”Epoch AI” выглядят более сильными.
Остальные примеры могут быть наглядными, но их вряд ли будет достаточно для каких-то количественных выводов. Например, можно вспомнить вот эту табличку от того же Рэя Курцвейла с эффективностью программ распознавания речи:
Мы можем быть меньше уверены в темпе роста алгоритмической эффективности, но само наличие этого роста не подлежит сомнению. Работы, в которых достигается более эффективное использование вычислительных ресурсов машинными моделями, выходят чуть ли не ежедневно.
Этот рост даёт нам основания полагать, что, даже когда финансовые бюджеты на обучение ИИ-моделей упрутся в свои верхние пределы, даже когда каждый доллар, потраченный на вычислительную технику не сможет приносить всё больше отдачи в рамках закона Мура — исследователи всё равно продолжат совершенствовать способности ИИ. Прогресс не остановится.
Не менее важно то, что для этой экспоненты не предвидится абсолютно никаких теоретических ограничений. Она не требует гигантских единовременных инвестиций, которые могли бы поколебать решимость топ-менеджеров коммерческой корпорации. Она не требует борьбы с фундаментальными законами физики в попытках сделать электронные компоненты всё более микроскопическими. Всё, что она требует — это научное любопытство и человеческая изобретательность. А может, и не только человеческая, о чём мы еще поговорим в других частях цикла.
Впрочем, если в теории ограничения здесь отсутствуют, то на практике экспонента алгоритмической эффективности тесно завязана еще на одну важнейшую экспоненту ИИ. О ней — в следующей части.
(C) Источник
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter
Закон Мура уникален в плане технологических и экономических достижений. Но стоящая за ним мотивация — улучшение эффективности продукта, улучшение отдачи на каждый потраченный доллар — является абсолютно универсальной и движет практически всеми технологическими разработками.
Является ли исключением разработка ИИ-моделей? Разумеется, нет! Здесь тоже немалая часть исследовательских усилий направлена на открытие таких алгоритмов, которые позволили бы сделать большее меньшими усилиями. Параллельно экспоненциальному росту размеров моделей и данных для их обучения — путь, где успехи действительно очень наглядны — ведется непрекращающаяся работа по оптимизации ресурсов, необходимых для достижения этих высоких результатов.
Однако попытка количественно оценить скорость прогресса в эффективности алгоритмов наталкивается на отсутствие очевидных, общепризнанных метрик. Для закона Мура такой метрикой является плотность размещения транзисторов на чипе, а также экономический подход — стоимость вычислений с плавающей точкой. За пределами микроэлектроники экономические метрики превалируют: что бы там ни говорил Тим Кук, деньги являются главным мерилом любого успеха. Возьмем такие продукты, как солнечные батареи или светодиодные лампы: падение их стоимости является самым объективным подтверждением практического прогресса.
Однако ИИ, во-первых, сейчас не очень плотно встроен в экономические процессы. Вопрос «сколько стоит ИИ?» сейчас почти лишен какого-либо смысла. Во-вторых, интеллект — штука очень многогранная и неоднозначная. В отличие от солнечных батарей и светодиодов, производительность которых очень легко измерить в вольтах и люменах, сопоставить между собой две ИИ-системы не так просто.
Но это не останавливает попытки оценить алгоритмический прогресс. Правда, для большей надежности результатов приходится жертвовать широтой наблюдений. Одну из таких попыток предприняла уже знакомая нам фабрика мысли ”Epoch AI”.
Исследователи сосредоточились на машинном зрении — узкой и уже довольно зрелой области ИИ. Эта область также удобна тем, что там уже много лет есть эталонный бенчмарк классификации изображений, ImageNet, на котором тестируются все без исключения архитектуры для машинного зрения.
Даже с такими вводными сопоставить результаты разных моделей оказалось не так просто (в основном из-за трудностей с репликацией), и исследователям пришлось основательно налегать на методы экстраполяции. Что несколько снижает надежность выводов. А выводы получились следующими:
С каждым годом затраты ресурсов на достижение 63,3%-ной точности в бенчмарке ImageNet – точности, которой в 2012 достигла нейросеть AlexNet – последовательно снижались. Причём снижались с очень быстрым темпом: в среднем в 2 раза за 9 месяцев. Это означает, что алгоритмический прогресс идёт со значительно более интенсивным темпом, чем прогресс в микроэлектронике в рамках закона Мура. Соответственно, вклад от этого фактора в общую эффективность использования ресурсов пропорционально выше.
Более того, в рамках исследования авторы проводят декомпозицию влияния разных факторов на рост способностей моделей:
В среднем выходит, что около 45% улучшения произошло благодаря алгоритмической эффективности, еще около 45% – за счет увеличения объема вычислений (соотносится с 1-ой и 2-ой экспонентой в рамках этого цикла), оставшиеся 10% - за счет роста обучающих данных (соотносится со 2-ой экспонентой). При этом стоит отметить, что для более поздних лет (последние строчки в таблице) роль алгоритмической эффективности немного падает, замещаясь объемом данных для обучения. Если мы учтем наш вывод по 2-ой экспоненте о том, что данные скоро закончатся, алгоритмическая эффективность может вновь набрать большую значимость.
К сожалению, тема роста эффективности ИИ-алгоритмов является слабо исследованной. Что контрастирует с большим корпусом академических работ по трём предыдущим экспонентам. Существует еще одна, более ранняя попытка, авторы которой получили более медленный темп роста эффективности в машинном зрении — удвоение раз в 16 месяцев. Однако методология и широта исследования от ”Epoch AI” выглядят более сильными.
Остальные примеры могут быть наглядными, но их вряд ли будет достаточно для каких-то количественных выводов. Например, можно вспомнить вот эту табличку от того же Рэя Курцвейла с эффективностью программ распознавания речи:
Мы можем быть меньше уверены в темпе роста алгоритмической эффективности, но само наличие этого роста не подлежит сомнению. Работы, в которых достигается более эффективное использование вычислительных ресурсов машинными моделями, выходят чуть ли не ежедневно.
Этот рост даёт нам основания полагать, что, даже когда финансовые бюджеты на обучение ИИ-моделей упрутся в свои верхние пределы, даже когда каждый доллар, потраченный на вычислительную технику не сможет приносить всё больше отдачи в рамках закона Мура — исследователи всё равно продолжат совершенствовать способности ИИ. Прогресс не остановится.
Не менее важно то, что для этой экспоненты не предвидится абсолютно никаких теоретических ограничений. Она не требует гигантских единовременных инвестиций, которые могли бы поколебать решимость топ-менеджеров коммерческой корпорации. Она не требует борьбы с фундаментальными законами физики в попытках сделать электронные компоненты всё более микроскопическими. Всё, что она требует — это научное любопытство и человеческая изобретательность. А может, и не только человеческая, о чём мы еще поговорим в других частях цикла.
Впрочем, если в теории ограничения здесь отсутствуют, то на практике экспонента алгоритмической эффективности тесно завязана еще на одну важнейшую экспоненту ИИ. О ней — в следующей части.
(C) Источник
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter