ИИ революция » Элитный трейдер
Элитный трейдер


ИИ революция

21 декабря 2023 Рябов Павел
Как внедрение высокоразвитых моделей ИИ может трансформировать общество, экономику, как это повлияет на технологии и производительность труда?

• Впервые формализация концепции ИИ была еще в середине 20 века, а более осмысленные и работоспособные модели ИИ существует уже более 30 лет (на уровне расширенных скриптов и экспертных систем, где пионером были компьютерные игры).

• В 2000х годах распознавание текста и позже изображений, переводчики, голосовые ассистенты, торговые алгоритмы.

• В 2010х годах – глубокое обучение и нейронные сети, Big data, распознавание видео, самоуправляемый транспорт.

• Высокоразвитые модели ИИ начали появляться в 2017-2018, бурная экспансия началась с 2019-2020 (бум улучшайзеров для фото, рекомендации музыки, анализ новостного контента, дипфейки), а с 2021 по экспоненте пошли генеративные модели ИИ.

Именно генеративные ИИ способны произвести революционные трансформации в экономике, обществе и на рынке труда.

Генеративные модели ИИ - тип алгоритмов машинного обучения, предназначенных для создания (генерации) новых данных, которые похожи на обучающие данные. Эти модели могут создавать тексты, изображения, звуки или другие типы данных, которые воспроизводят стили, паттерны и характеристики исходного набора данных.

Самыми популярными типами генеративных моделей являются Генеративно-состязательные сети (GAN), вариационные автокодировщики (VAE) и архитектура Трансформеров, применяемые в GPT и BERT.

Первые высокоразвитые генеративные модели ИИ начали появляться в 2017: ProGAN, CycleGAN, RealNVP, VQ-VAE, через год появились Glow, WaveGAN и WaveNet, StyleGAN и StyleGAN2 и BERT. Интеграция GPT началась в 2019, и именно она добилась успеха:

В чем революция? Изначально предполагалось, что ИИ заменит монотонный/повторяющиеся, а значит формализируемый вид труда и низко-квалифицированную рабочую силу и лишь в самом конце, на вершине своей эволюции ударит по творческим профессиям, но оказалось все иначе.

Генеративный ИИ сносит именно творческий сегмент профессий:

▪️Создание текста – осмысленные тексты, практически не отличимые от человеческого стиля письма, с возможностью создавать анекдоты, стихи, сценарии для фильмов, истории, новостные статьи.

▪️Создание программного кода, что позволит в десятки раз ускорить поиск решений и создание кода для профессиональных программистов, заменяя низко и средне квалифицированных программистов.

▪️Создание музыки. Генерация музыкальных композиций, имитирующих определенные стили, на основе анализа десятков тысяч произведений или создание совершенно новых музыкальных произведений (экспериментальная нейро-музыка).

▪️Создание реалистичных изображений. Опять же, на основе анализа паттернов сверх большого массива реальных фотографий упорядочиваются характеристики, структура и особенности объектов и далее через алгоритмы GAN генерируются синтетические изображения.

▪️Создание видео. Те самые дипфейки. ИИ анализирует видео, изучая характеристики движения, переходы между кадрами, визуальные и аудио паттерны и далее по аналогичному методу, как и с изображениями – генерируется ИИ видео. Может применяться для анимации, создания спецэффектов.

▪️Генерация речи, сохраняя тембр, интонации, ритм человеческой речи. Может применяться в ИИ-консультантах, синхронных переводчиках, навигационных системах, голосовых помощниках, в озвучивании книг, онлайн видео и фильмов.

▪️Симулирование и моделирование сложных систем. Все, что можно формализовать – идеальная среда для ИИ. Научные вычисления входят в этот сегмент. Может применяться в расширении предиктивных/предсказательных моделей в финансах, экономике и бизнесе, в виртуальном прототипировании (для инженеров, архитекторов, конструкторов).

Пространство использование генеративного ИИ – невероятно. Разница между 2021 и 2023 в том, что сейчас эти модели достигли той стадии зрелости, когда способны оказывать непосредственное влияние на контент, технологии, способы и методы организации бизнес-процессов и взаимодействия с окружающей цифровой средой.

Как отличить ИИ от обычного программного комплекса?

Многие программные комплексы могут быть крайне сложными, многоуровневыми, многофункциональными и многокомпонентными с возможностью интеграции автоматизированных систем управления (АСУ) с глубокой степенью автоматизации, но являются ли они ИИ?

В моем канале будет множество тем и исследований, посвященных ИИ, т.к. за этим будущее, поэтому я попытаюсь прояснить ключевые моменты.

На самом деле глубокая степени автоматизации АСУ при всей крайне сложности данных систем не делает их ИИ в широком понимании, хотя приближает их к ИИ.

Важно понимать критерии и признаки идентификации ИИ:

▪️Способность к обучению и адаптации - возможность самостоятельно учиться и адаптироваться на основе новых данных, опыта и обратной связи, оптимизировать свои алгоритмы в процессе работы, что позволяет ему с течением времени становиться более эффективным и точным. ИИ не ограничивается начальным обучением и может постоянно развиваться.

▪️Автономность принятий решений – способность выхода за границы установленных алгоритмов в рамках фокуса задачи и адаптация к новым сценариям без предварительного вмешательства человека. Проще говоря, ИИ способен самостоятельно искать наилучшее решения для решения конкретной задачи, тогда как обычные программы «заперты» в границы интегрированных алгоритмов.

▪️Понимание контекста сложных задач – ИИ обладает способностью понимать сложные, многоуровневые задачи и контекст, в котором они возникают, тогда как в традиционных программам глубина понимания ограничена исключительно заранее написанными и внедренными скриптами и алгоритмами.

▪️Когнитивные функции – восприятие информации, рассуждение, обучение и многовекторное решение задач отличает ИИ от любых других систем, даже самых сложных. Логическое рассуждение предполагает способность к логическому анализу информации и формированию выводов с выстраиванием причинно-следственных цепочек.

▪️Обработка естественного языка – замещение машинного языка на инструкции и в дальнейшем на человеческий язык делает программный комплекс близким к ИИ в той мере, насколько ИИ способен понимать человеческую речь.

▪️Предиктивный анализ - ИИ может анализировать большие объемы исторических данных, обнаруживать закономерности и тенденции и использовать эти знания для прогнозирования будущих событий или результатов, опираясь на паттерны и вероятностные оценки.

▪️Мультимодальность –относится к способности ИИ анализировать и интегрировать информацию из различных источников или типов данных (модальностей). Например, мультимодальная система ИИ может одновременно обрабатывать текст, изображения, аудио и видео.

▪️Мультидисциплинарность - в контексте ИИ подразумевает применение знаний и методов из разных научных дисциплин для разработки, понимания и улучшения систем ИИ. Этот подход акцентирует внимание на объединении разнообразных научных и технических областей знаний для создания более эффективных и интеллектуальных систем.

Интеграция всех 8 базовых признаков ИИ не является обязательной, т.к., по существу, достаточно даже одного из выше перечисленных. Но в чем же разница, почему именно сейчас такое внимание и столь «ядерный» ажиотаж вокруг ИИ? Были внедрены одновременно восемь признаков.

ИИ – это технологии будущего, которые существуют уже более 70 лет

Какие этапы развития ИИ?

1. Ранние этапы (1950-е – 1960-е годы). Появление первых идей и теоретических работ, связанных с ИИ, включая знаменитую статью Алана Тьюринга «Вычислительные машины и интеллект» (1950). Дартмутская конференция (1956) - официальное рождение ИИ, как академической дисциплины.

• Предиктивный анализ: Простые формы предиктивного анализа использовались в ранних программах ИИ, особенно в логических играх и простых задачах решения проблем. Например, программы для игры в шахматы.

• Обработка естественного языка: Начальные исследования в области обработки естественного языка начались, но они были довольно ограниченны. Создание простых ИИ-программ, таких как ELIZA (программа, имитирующая диалог).

2. Медленное развитие (1970-е – 1980-е годы). Данный период принято считать периодом застоя технологий, связанных с ИИ, что во многом обусловлено проблемой масштабирования и критическим дефицитом вычислительной мощности с принципиальной неспособностью заполнения данных для обучения (не было ни Интернета, ни памяти, ни достаточной пропускной способности). Это привело к разочарованию в ИИ, как технологии, не соответствующей времени.

Однако, первые прототипы экспертных систем начали появляться в это время, как и специализированные языки программирования, таких, как LISP.

3. Расширение и интеграция (1990-е годы – начало 2000-х).

•Рост коммерческого интереса: Появление первых успешных коммерческих применений ИИ, особенно в области экспертных систем.

•Развитие машинного обучения: Алгоритмы обучения на основе данных начинают заменять жестко запрограммированные инструкции.

•Развитие нейронных сетей: Прототипирование и теоретическое обоснование нейронных сетей. Возобновление интереса к нейронным сетям и их потенциалу.

Практически все разработки в этот период носили теоретический характер, существенного прикладного расширения не присутствовало. Однако, именно в 90-х началась экспансия робототехники с применением Robotics AI, в интегрировалось в промышленности в рамках автоматизированных систем управления (АСУ).

Одним из существенных драйверов развития ИИ в 90-х были компьютерные игры (ИИ для игровых ботов), которые в свою очередь предопределили развитие индустрии, как на аппаратном уровне, так и на программном.

Практически все современные ИТ специалисты имеют очень весомый бэкграунд в виде игрового опыта (1990-2010х годов), что в детстве и юности поддерживало интерес к компьютерам, информатике, программированию, гейм-дизайну и так далее.

Геймерство – своеобразная религия для большинства ИТ специалистов. Геймерами в свое время были и Илон Маск, и Сэм Альтман.

4. Эра Интернета и больших данных (2000-2010).

• «Взрыв Данных»: Рост интернета приводит к огромному увеличению доступных данных и информации. С развитием интернета и цифровых технологий объем доступных данных рос экспоненциально. Это создавало новые возможности для применения и обучения ИИ, особенно в областях, связанных с анализом больших данных.

• Эволюция Алгоритмов: Продолжалось усовершенствование алгоритмов машинного обучения, особенно методов обучения с учителем и без учителя, улучшались NLP методы и алгоритмы нейронных сетей. Применение этих методов в различных областях, например, в анализе данных и распознавании образов, становилось более распространенным. Однако, мощностей и данных катастрофические не хватало для осмысленных систем.

• ИИ в бизнесе и промышленности: Первые коммерческие ИИ проекты начали внедряться только в 21 веке. Увеличивалось использование ИИ для решения конкретных задач в бизнесе, финансах, здравоохранении и других областях, включая оптимизацию процессов, анализ рынков и диагностику в медицине.

С 2005-2007 начался бум алгоритмических систем на основе предиктивного анализа в торговых роботах на бирже.

Улучшение аппаратного обеспечение открыло новые возможности для прогнозирования погоды на основе ИИ и в робототехнике.

Но все самое интересное было впереди …

Самое интересно для ИИ начинается с 2010 года.

До 2010 развивался, по сути, лишь один из восьми базовых признаков ИИ – это предиктивный анализ, что активно использовался в торговых алгоритмах на бирже (анализ паттернов), в научных и экономических исследованиях, в прогнозировании погоды, в оценке страховых и финансовых рисков и так далее.

Все остальные семь признаков ИИ находили теоретическое обоснование и прототипирование с 1950 по 2010 с разной интенсивностью и с разной успешностью. Причем, концепты были во всех измерениях, даже в когнитивных функциях, где в 90-х и начале нулевых лучшие решения были от IBM.

То, что есть сейчас – не новинка, но препятствием к развитию были вычислительные мощности и отсутствие данных. Big data зародился в середине 2000-2010, а в лучшую форму вышел в 2010-2020, плюс к этому вычислительные мощности серверов выросли на порядок.

Десятилетие с 2010 по 2019 годы было периодом стремительного прогресса в ИИ, отмеченным значительными технологическими инновациями, расширением применения и увеличением общественного интереса. Это был период, когда ИИ стал не просто академическим исследованием, а мощным инструментом, влияющим на множество аспектов повседневной жизни и работы. Без данных и вычислительных мощностей все это так бы осталось теорией.

Началась бурная экспансия ИИ во все отрасли экономики и сферы жизни. Практически не было не затронутых ключевых отраслей: здравоохранение, образование, транспорт, розничная и оптовая торговля, логистика и склад, консалтинг, финансы и страхование, промышленность и сельское хозяйство, умная система управление городом, распознавание лиц, кибербезопасность и так далее.

Революция в глубоком обучении: прорывы в глубоких нейронных сетях, особенно с развитием сверточных (CNN) и рекуррентных (RNN) нейронных сетей, значительно улучшили способности ИИ в распознавании образов, обработке естественного языка и предсказательном анализе.

Появление и развитие трансформеров: архитектура трансформеров, представленная в 2017 году, привнесла революционные изменения в область обработки естественного языка и генерации текста, что и стало прообразом ChatGPT.

В период с 2010 по 2019 активно развивалась мультимодальность, автономность принятия решений, обработка естественного языка и к совершенству выходил предиктивный анализ с существенным прогрессом в когнитивных функциях и самообучению.

С 2020 началась эра генеративных сетей, что позволило реализовать глубокую мультидисциплинарность, способность к обучению и адаптации и самое главное – это понимание контекста сложных задач и высокоразвитые когнитивные функции, которые были немыслимы ранее.

Лейбл ИИ перестал быть чистым маркетингом, как десятилетием ранее, а стал символом новой эпохи.

Важнейшим этапом стал выдающиеся прогресс в Natural Language Processing (NLP) и понимании семантики и конструкции языка, позволяя выстраивать адекватные смысловые структуры.

Семантика языка играет критическую роль в понимании и интерпретации человеческого языка. Алгоритмы и модели стремятся понять не только буквальные значения слов, но и их семантический контекст и намерения, говорящего или пишущего.

Мера развития ИИ напрямую связана с пониманием контекста и смысла «между строк». На данный момент – это слабое место ChatGPT, но, с другой стороны, невероятный прогресс за последние годы.

Сложно сказать, куда все это приведет, но прогресс впечатляющий, мягко говоря…

Что позволило ИИ стать настолько эффективным? Любая технология имеет определённый порог зрелости, внедрение которой ограничено наличием смежных технологий.

Развитие ИИ обусловлено наличием ключевых технологий и научных достижений, которые в совокупности создали условия для появления и эволюции ИИ до той степени, которая актуальна сейчас.

Например, появление микропроцессора невозможно было без изобретения транзистора в 1947, интегральных схем в 1950-х, определенной степени зрелости химической промышленности, что позволило развить фотолитографию и кремниевые технологии, наличия электронной промышленности или научных открытий в бинарной логике и так далее.

ИИ - результат синергии множества технологических, научных и промышленных достижений последних 100 лет.

Можно выделить множество факторов, повлиявших на экспансию ИИ, но ключевых несколько – вычислительные мощности, big data (в том числе алгоритмы их анализа) и инновационные алгоритмы машинного обучения, особенно методов нейронных сетей.

В одном из интервью CEO OpenAI Сэм Альтман сказал, что одним из главных драйверов быстрого развития ИИ стали компьютерные игры и геймеры, которые двигали прогресс видеокарт, что позволило экспоненциально нарастить вычислительные мощности, которые потом стали использоваться для ИИ проектов, а сейчас прогресс видеокарт двигают уже ИИ.

Чем больше данных – тем точнее результаты, поэтому ИИ не мог появиться раньше, чем появление достаточных вычислительных мощностей, Big data и высокого уровня развития Интернета, но все это нужно правильным образом интерпретировать и обработать, т.е. нужны алгоритмы.

Вдаваться в детали алгоритмов не буду по очевидным причинам, но назову основные:

▪️Глубокое обучение (Deep Learning AI) – применяются метод обратного распространения ошибки (backpropagation), генеративно-состязательные сети (GAN), сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN), сети прямого распространения (FNN), глубокие нейронные сети (Deep Neural Networks) и автоэнкодеры.

▪️Машинное Обучение (Machine Learning AI) - метод опорных векторов, линейная Регрессия, логистическая регрессия, деревья решений, случайный лес, метод K-ближайших соседей (KNN).

▪️Обучение с Подкреплением (Reinforcement Learning активно применяется в Robotics AI и Decision AI) - Q-обучение (Q-learning), алгоритмы на основе политик.

▪️Прочие алгоритмы – оптимизация стохастического градиента (SGD), градиентный спуск и вариация, также ансамблевые алгоритмы путем комбинирования нескольких моделей.

▪️Обработка естественного языка (NLP, Natural Language Processing) – модели на основе трансформеров – самая мощная и инновационная модели на сегодняшний день.

Инновация за Google, которая в 2017 внедрила революционную на тот момент BERT, однако все лавры забрала на себя OpenAI, которая сумела технологические решения Google довести до ума, внедрив доступную и крайне эффективную модель.

Фундаментальные преимущества:

- Механизм внимания для взвешивания в неструктурированных массивах релевантные сегменты;

- Параллельная обработка – одновременная обработка всех токенов (основная базовая единица входной информации);

- Отсутствие рекуррентности, что позволяет избежать проблем, связанных с долговременными зависимостями в данных, а следовательно устраняет накопление ошибок в системе;

- Масштабируемость – позволяет быстро и эффективно обучаться на большом массиве данных.

ChatGPT базируется на применении трансформеров в NLP, методах обработки Big Data, глубоком обучении с активным применением обратного распространения ошибки и GAN методов и самое главное - контекстуальное понимание, т.е. способность учитывать широкий контекст входных данных на основе истории запросов.

Таким образом, успех ChatGPT – это объединение 8 признаков ИИ и 8 направлений ИИ одновременно (Generative AI + NLP AI + Cognitive AI + Machine Learning AI + Deep Learning AI + Predictive AI + Decision AI + Robotics AI (при необходимости)).

Потенциал возможностей невероятный… Продолжение следует.

(C) Источник
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter