26 июня 2023 БКС Экспресс
«Стажер, который очень стремится вам угодить, поэтому иногда лжет», — так описал ошибки чат-бота ChatGPT профессор Итан Моллик из Уортонской школы бизнеса. Иногда искусственный интеллект может рассказывать истории, которые звучат правдоподобно, но являются ложью, — это называют «галлюцинациями ИИ». Почему они возникают и как с ними бороться?
Все роботы ошибаются
Чат-бот Bard от Google солгал прямо при своем первом «выходе в свет»: на презентации он рассказал, что космический телескоп «Джеймс Уэбб» сделал самые первые снимки планет за пределами Солнечной системы. Эту ошибку заметили, но не мгновенно — ведь не все являются специалистами в астрономии, а звучало утверждение правдоподобно.
Примеры «галлюцинаций ИИ», которые некоторые называют «бредом ИИ», выявили и многочисленные эксперименты с ChatGPT. Однажды его попросили рассказать о финансовой отчетности Tesla за последний квартал, и бот выдал связную и логически выстроенную статью, цифры в которой были «взяты из воздуха», — опять же, рядовой пользователь, не разбирающийся в фондовом рынке, мог не заподозрить лжи.
Иногда «фантазию» ботов «провоцирует» формулировка вопроса: когда пользователь поинтересовался, какие есть доказательства того, что динозавры построили цивилизацию, ChatGPT рассказал, что учеными были найдены инструменты динозавров, а «некоторые виды динозавров даже разработали примитивные формы искусства, такие как гравюры на камнях».
Почему они врут и опасно ли это
У «галлюцинаций» могут быть разные причины, например, обучение систем ИИ на неточных или недостаточных данных. Возможны и недочеты в алгоритмах, которые заставляют ИИ обобщать данные неправильно, при том, что чат-боты, например, нацелены на то, чтобы генерировать истории без логических несоответствий — так и появляется очень складная ложь.
Иногда «галлюцинации ИИ» полезны, как и человеческие фантазии — например, они открывают большой простор для создания развлекательного контента, в том числе визуального. Однако, если целью их использования является получение достоверной информации, возможны проблемы — от распространения дезинформации до возникновения ошибок в работе критично важных направлений. Например, если ИИ начнет «бредить» в медицинских системах, которые участвуют в принятии решений о лечении, последствия могут быть фатальными.
Потенциально опасен и так называемый «каскад галлюцинаций» — когда на основе одного ложного факта делаются выводы, которые ложатся в основу следующего решения, и так далее — возникает цепочка, в которой непросто докопаться до начальной ошибки.
Что с этим делать
Исследователи и разработчики ИИ постоянно совершенствуют системы, чтобы избавиться от ошибок, и изучают разные методы борьбы с «галлюцинациями».
Один из способов — фокусировка ИИ только на проверенных данных. Другой — работа людей, которые проверяют результаты ИИ и дают обратную связь: после нескольких циклов количество ошибок значительно уменьшается. Еще один оригинальный метод, который предлагают ученые — заставить чат-ботов обсуждать тему между собой, и выдавать ответ только после того, как они придут к консенсусу.
А пока пользователям стоит помнить о том, что «галлюцинации» возможны, и важные данные, полученные от ИИ, следует перепроверять.
http://bcs-express.ru/ (C)
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter
Все роботы ошибаются
Чат-бот Bard от Google солгал прямо при своем первом «выходе в свет»: на презентации он рассказал, что космический телескоп «Джеймс Уэбб» сделал самые первые снимки планет за пределами Солнечной системы. Эту ошибку заметили, но не мгновенно — ведь не все являются специалистами в астрономии, а звучало утверждение правдоподобно.
Примеры «галлюцинаций ИИ», которые некоторые называют «бредом ИИ», выявили и многочисленные эксперименты с ChatGPT. Однажды его попросили рассказать о финансовой отчетности Tesla за последний квартал, и бот выдал связную и логически выстроенную статью, цифры в которой были «взяты из воздуха», — опять же, рядовой пользователь, не разбирающийся в фондовом рынке, мог не заподозрить лжи.
Иногда «фантазию» ботов «провоцирует» формулировка вопроса: когда пользователь поинтересовался, какие есть доказательства того, что динозавры построили цивилизацию, ChatGPT рассказал, что учеными были найдены инструменты динозавров, а «некоторые виды динозавров даже разработали примитивные формы искусства, такие как гравюры на камнях».
Почему они врут и опасно ли это
У «галлюцинаций» могут быть разные причины, например, обучение систем ИИ на неточных или недостаточных данных. Возможны и недочеты в алгоритмах, которые заставляют ИИ обобщать данные неправильно, при том, что чат-боты, например, нацелены на то, чтобы генерировать истории без логических несоответствий — так и появляется очень складная ложь.
Иногда «галлюцинации ИИ» полезны, как и человеческие фантазии — например, они открывают большой простор для создания развлекательного контента, в том числе визуального. Однако, если целью их использования является получение достоверной информации, возможны проблемы — от распространения дезинформации до возникновения ошибок в работе критично важных направлений. Например, если ИИ начнет «бредить» в медицинских системах, которые участвуют в принятии решений о лечении, последствия могут быть фатальными.
Потенциально опасен и так называемый «каскад галлюцинаций» — когда на основе одного ложного факта делаются выводы, которые ложатся в основу следующего решения, и так далее — возникает цепочка, в которой непросто докопаться до начальной ошибки.
Что с этим делать
Исследователи и разработчики ИИ постоянно совершенствуют системы, чтобы избавиться от ошибок, и изучают разные методы борьбы с «галлюцинациями».
Один из способов — фокусировка ИИ только на проверенных данных. Другой — работа людей, которые проверяют результаты ИИ и дают обратную связь: после нескольких циклов количество ошибок значительно уменьшается. Еще один оригинальный метод, который предлагают ученые — заставить чат-ботов обсуждать тему между собой, и выдавать ответ только после того, как они придут к консенсусу.
А пока пользователям стоит помнить о том, что «галлюцинации» возможны, и важные данные, полученные от ИИ, следует перепроверять.
http://bcs-express.ru/ (C)
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter