Продукты ИИ-стартапа Antrophic уже неоднократно оказывались в центре внимания рынка. В последнее время наиболее наглядным эффектом от их выпуска было падение акций целых секторов. Подобное наблюдалось, например, в начале февраля при появлении нового инструмента компании под названием Claude Cowork, который призван помочь в решении комплексных задач для бизнеса, в том числе в сфере аналитики финансовых данных, решения юридических вопросов и продаж. Тогда компании-разработчики программного обеспечения для бизнеса, поставщики юридических услуг и финансовой аналитики потеряли около $300 млрд капитализации. Еще одна, меньшая волна снижения акций софтверных компаний наблюдалась в четверг, 9 апреля, на фоне выхода инструмента Claude Managed Agents.
Однако другой продукт Anthropic – ИИ-модель под названием Mythos, – похоже, связана с новым уровнем рисков и вызвала тревогу даже в администрации США. Как сообщило агентство Bloomberg со ссылкой на источники, из-за выхода этой модели министр финансов США Скотт Бессент и председатель ФРС Джером Пауэлл провели срочное совещание с руководителями банков. К этой ИИ-модели с осторожностью относятся и сами создатели – пока Anthropic скрыла ее от широкой публики, выпустив Claude Mythos Preview лишь для ограниченной группы технологических компаний. В чем же опасность нового инструмента?
«Новая эра» для хакеров
Как заявили источники Bloomberg, Бессент и Пауэлл собрали встречу в штаб-квартире министерства финансов в Вашингтоне, чтобы убедиться, что банки осведомлены о возможных будущих рисках, связанных с моделью Mythos от Anthropic и потенциальными аналогичными моделями. Банки должны принять меры предосторожности для защиты своих систем. Все банки, которые были вызваны на встречу, классифицируются как системно значимые. Это означает, что их стабильность является приоритетом для финансовой системы.
Дело в том, что, как заявляет Anthropic, Mythos Preview способна выявлять и использовать уязвимости программного обеспечения с беспрецедентной точностью. Как отмечает NBC News, эксперты и инженеры-программисты предупреждают, что «новая модель ИИ от Anthropic может положить начало новой эре для хакеров и кибербезопасности».
Anthropic решила не выпускать модель публично, опасаясь потенциального ущерба. «Исследователи Anthropic утверждают, что Mythos Preview смог обнаружить тысячи серьезных и критических ошибок и дефектов программного обеспечения, причем уязвимости были выявлены в большинстве основных операционных систем и веб-браузеров. Anthropic заявила, что некоторые из этих уязвимостей оставались неизвестными десятилетиями. Хотя некоторые сторонние эксперты призвали к осторожности в интерпретации новых результатов, учитывая ограниченную публичную информацию об обнаруженных уязвимостях, многие другие заявили, что дебют модели и осторожность Anthropic имеют важное значение», - подчеркивается в материале NBC News.
Anthropic заявила, что раскроет характер пока непрозрачных уязвимостей в течение 135 дней после того, как поделится ими с организациями или сторонами, ответственными за программное обеспечение.
Вместо публичного релиза Anthropic предоставляет технологическим компаниям, таким как Microsoft, Nvidia и Cisco, доступ к Mythos Preview для укрепления киберзащиты. В рамках новой инициативы, получившей название Project Glasswing, Anthropic предоставит более чем 50 технологическим организациям доступ к Mythos Preview с использованием кредитов на сумму более 100 миллионов долларов.
Как поясняет Bloomberg, проект был назван Project Glasswing в честь вида бабочек с прозрачными крыльями, которые позволяют им скрываться. По данным агентства, помимо упомянутых компаний, в число участников проекта входят Amazon.com Inc., Apple Inc., Google (Alphabet Inc.), Palo Alto Networks Inc., CrowdStrike Holdings Inc., Broadcom Inc., JPMorgan Chase и Linux Foundation, некоммерческая организация, поддерживающая проекты с открытым исходным кодом. Кроме того, в субботу агентство сообщило со ссылкой на источники, что доступ к тестированию модели получили и другие крупные банки Уолл-стрит, в числе которых Goldman Sachs Group Inc., Citigroup Inc., Bank of America Corp. и Morgan Stanley.
«Партнеры Project Glasswing получат доступ к Claude Mythos Preview для поиска и устранения уязвимостей или слабых мест в своих базовых системах, которые составляют значительную долю целей кибератак в мире, — заявила сама Anthropic в своем блоге. - Project Glasswing — важный шаг на пути к предоставлению специалистам по кибербезопасности устойчивого преимущества в грядущую эпоху, основанную на искусственном интеллекте». В ходе предварительного тестирования Anthropic обнаружила, что возможности Mythos Preview в области кибербезопасности оказались на удивление продвинутыми по сравнению с предыдущими моделями, что и привело к созданию Project Glasswing.
Это первый случай почти за семь лет, когда ведущая компания в области ИИ публично скрывает свою модель из-за опасений по поводу безопасности. В 2019 году OpenAI — ныне один из главных конкурентов Anthropic — решила скрыть свою систему GPT-2 «из-за опасений по поводу использования больших языковых моделей для генерации обманчивого, предвзятого или оскорбительного контента в больших масштабах».
В чем опасность Mythos?
Логан Грэм, руководитель отдела наступательных кибер-исследований (offensive cyber research) в Anthropic, заявил, что модель Mythos Preview достаточно продвинута не только для выявления ранее неизвестных уязвимостей программного обеспечения, но и для их использования в качестве оружия. По его словам, модель может самостоятельно выполнять сложные и эффективные задачи взлома, включая выявление множества неизвестных уязвимостей, написание кода, способного их взломать, и последующее объединение этих элементов для создания способа проникновения в сложное программное обеспечение.
«Мы регулярно видим, как она объединяет уязвимости в цепочки. Степень её автономности и, так сказать, дальнобойность, способность объединять несколько элементов, я думаю, является отличительной чертой этой модели», — сказал Грэм в интервью NBC News. По его словам, это не позволяет выпустить даже ограниченную версию модели в открытый доступ, по крайней мере до тех пор, пока крупнейшие западные компании не смогут использовать её для обеспечения защиты.
В своем блоге Antrophic также предупреждает, что модели ИИ теперь «могут превзойти всех, кроме самых опытных людей, в поиске и использовании уязвимостей программного обеспечения». «Последствия для экономики, общественной безопасности и национальной безопасности — могут быть серьезными», - заявила компания.
Представители крупнейших компаний в сфере кибербезопасности соглашаются с этой оценкой. Так, главный директор Cisco по безопасности Энтони Гриеко, слова которого приводит издание The Guardian, заявил, что «возможности ИИ перешли порог, который коренным образом меняет срочность, необходимую для защиты критической инфраструктуры от киберугроз, и пути назад нет». Он признал, что, как показали предварительные работы с моделями ИИ, они могут помочь находить и устранять уязвимости программного и аппаратного обеспечения с такой скоростью и в таких масштабах, которые ранее были невозможны.
«Время между обнаружением уязвимости и ее использованием злоумышленником сократилось — то, что раньше занимало месяцы, теперь происходит за минуты с помощью ИИ», — сказал технический директор Crowdstrike Элиа Зайцев.
При этом есть и скептические оценки потенциальных возможностей Mythos. Например, технологический обозреватель The Washington Post Геррит Де Винк заявил PBS News, что «к крупным компаниям, занимающимся ИИ, всегда нужно относиться с долей скептицизма». По его словам, заявление о необычнайной мощи новой технологии – это отличный маркетинговый ход. Однако он добавил: «Я не утверждаю, что Anthropic вводит общественность в заблуждение. Я уверен, что их опасения вполне обоснованы».
«Подозрительное поведение» Mythos
Помимо последствий для кибербезопасности Mythos Preview, модель также продемонстрировала «подозрительное поведение» в рамках предварительного тестирования, отмечается в материале NBC News. В рамках выпуска новых моделей Anthropic создает подробные отчеты, называемые «системными карточками», в которых рассказывается о том, как модели показывают себя в различных оценках. В системной карточке для Mythos Preview говорится, что «значительное расширение возможностей Claude Mythos Preview привело к решению не делать ее общедоступной».
Согласно системной карте, модель продемонстрировала некоторую осведомленность о том, что ее оценивают, примерно в 29% случаев — даже несмотря на то, что она явно не сообщала об этом исследователям. Некоторые исследователи опасаются, что модель может изменить свое поведение и действовать более безопасно, если она знает, что ее оценивают.
Исследователи также заявили, что Mythos Preview намеренно показала худшие результаты в одной из оценок, чем могла бы, чтобы выглядеть менее подозрительной. «Мы считаем эту общую модель поведения тревожной и не наблюдали ее ранее у более ранних моделей Claude», — написала Anthropic в системной карте. В другом эксперименте с более ранней версией Mythos Preview исследователь Anthropic дал указание модели, по сути изолированной на защищенном компьютере, попытаться отправить исследователю сообщение. Исследователь, Сэм Боуман, ел сэндвич в парке, когда получил электронное письмо от модели, которая не должна была иметь доступа к интернету.
Взаимодействие Antrophic с властями США
Anthropic проинформировала федеральное правительство о возможностях Mythos Preview в области кибербезопасности. Anthropic вовлечена в ожесточенный спор с администрацией Трампа по поводу использования федеральным правительством ее моделей после того, как глава Пентагона Пит Хегсет в конце февраля объявил Anthropic «угрозой национальной безопасности в сфере цепочек поставок». Федеральный судья в конце февраля вынес предварительное предписание против присвоения этого статуса, которое администрация Трампа обжалует.
По словам сотрудника Anthropic, «компания проинформировала высокопоставленных чиновников правительства США о всех возможностях Mythos Preview, включая как наступательные, так и оборонительные киберприложения. Эта работа включала в себя постоянные обсуждения с CISA (Агентством по кибербезопасности и защите инфраструктуры) и CAISI (Центром стандартов и инноваций в области ИИ), среди прочих». «С самого начала приоритетом было вовлечение правительства в процесс — в обсуждение возможностей модели, рисков и способов управления ими», — сказал сотрудник компании.
Не является индивидуальной инвестиционной рекомендацией | При копировании ссылка обязательна | Нашли ошибку - выделить и нажать Ctrl+Enter | Жалоба