США потребовали от Anthropic изъять модели Claude Fable и Mythos из-за уязвимости безопасности

В минувшую пятницу правительство США выпустило экстренное распоряжение о контроле за экспортом, которое обязывает компанию Anthropic немедленно ограничить доступ к двум своим самым передовым моделям искусственного интеллекта — Claude Fable 5 и Claude Mythos 5. Оба продукта были выпущены всего за несколько дней до этого, но теперь доступ к ним полностью закрыт для всех иностранных граждан, включая сотрудников самой Anthropic. При этом ограничение распространяется как на территорию США, так и за её пределами, что фактически означает отключение моделей для всех пользователей по всему миру. Причина столь жёстких мер — подозрение в наличии уязвимости, позволяющей обойти защитные механизмы модели (так называемый «джейлбрейк»), что, по мнению властей, может угрожать национальной безопасности.

Anthropic, в свою очередь, выступила с публичным заявлением, в котором оспаривает обоснованность такого решения. Компания утверждает, что продемонстрированный правительством метод обхода защиты является относительно простым и уже широко распространённым в индустрии. Более того, по словам Anthropic, аналогичные уязвимости могут быть воспроизведены с использованием других общедоступных моделей, таких как GPT-5.5, без необходимости применения каких-либо специальных техник. Тем не менее, несмотря на собственную оценку ситуации, Anthropic была вынуждена выполнить требование властей и отключить доступ к моделям, чтобы избежать юридических последствий.

Почему правительство США усмотрело угрозу в новых моделях Anthropic

Согласно официальному письму, полученному Anthropic, правительство США обеспокоено тем, что модели Fable 5 и Mythos 5 могут быть использованы для генерации вредоносного контента или выполнения задач, нарушающих безопасность. В частности, речь идёт о потенциальной возможности «джейлбрейка» — метода, позволяющего обойти встроенные ограничения модели и заставить её выполнять действия, которые разработчики изначально запретили. Например, такие модели могут быть использованы для создания инструкций по взлому систем, написания вредоносного ПО или генерации дезинформации в больших масштабах.

Важно отметить, что Mythos 5, в отличие от Fable 5, изначально позиционировалась как модель с ослабленными ограничениями, специально разработанная для поиска уязвимостей в программном обеспечении и кибербезопасности. Это означает, что она может быть особенно полезна для специалистов по безопасности, но одновременно представляет потенциальную угрозу, если попадёт в руки злоумышленников. Правительство США, вероятно, опасается, что такие возможности могут быть использованы для атак на критически важные инфраструктуры или для разработки новых видов кибероружия.

Позиция Anthropic: уязвимость уже повсеместна, а приказ создаёт опасный прецедент

Anthropic не согласилась с оценкой правительства и заявила, что продемонстрированный метод «джейлбрейка» не является чем-то уникальным или сложным. По словам компании, аналогичные уязвимости уже давно известны и могут быть воспроизведены с использованием других моделей, доступных на рынке. Это означает, что запрет на использование Fable 5 и Mythos 5 не решает проблему безопасности в принципе, а лишь ограничивает доступ к двум конкретным продуктам, не влияя на общую ситуацию в индустрии.

Компания также выразила обеспокоенность по поводу прецедента, который создаёт такой приказ. Если подобные меры будут применяться ко всем новым передовым моделям ИИ, это может привести к полному застою в развитии отрасли. Anthropic подчеркнула, что инновации в области искусственного интеллекта требуют постоянного тестирования и доработки, и любые необоснованные ограничения могут замедлить прогресс, не принеся реальной пользы в области безопасности.

Как приказ повлияет на пользователей и рынок ИИ

Для пользователей Anthropic последствия уже очевидны: доступ к моделям Fable 5 и Mythos 5 полностью закрыт, даже для тех, кто платил за подписку или корпоративные тарифы. Это означает, что компании, которые интегрировали эти модели в свои продукты, вынуждены будут искать альтернативы, что может занять недели или даже месяцы. Особенно сильно удар придётся по тем организациям, которые рассчитывали на возможности Mythos 5 для поиска уязвимостей в своих системах.

На рынке искусственного интеллекта приказ может спровоцировать цепную реакцию. Другие компании, разрабатывающие передовые модели, могут столкнуться с аналогичными требованиями со стороны правительства, что приведёт к ужесточению контроля за экспортом и распространением ИИ-технологий. Это, в свою очередь, может замедлить внедрение инноваций и увеличить расходы на compliance для стартапов и крупных корпораций. Кроме того, если правительства других стран последуют примеру США, это может привести к фрагментации рынка и усложнению международного сотрудничества в области ИИ.

Технические детали: что такое «джейлбрейк» и почему он опасен

«Джейлбрейк» в контексте моделей ИИ — это техника, позволяющая обойти встроенные ограничения модели и заставить её выполнять действия, которые разработчики запретили. Например, если модель отказывается давать инструкции по взлому систем или генерации дезинформации, злоумышленник может использовать специальные промты или техники манипуляции, чтобы обойти эти ограничения. Такие методы становятся всё более изощрёнными, и современные модели, включая Fable 5 и Mythos 5, могут быть особенно уязвимы к ним из-за своей сложности и гибкости.

Опасность «джейлбрейка» заключается в том, что он может быть использован для создания вредоносного контента, автоматизации кибератак или даже для разработки новых видов оружия. Например, модель, обученная на данных о кибербезопасности, может быть использована для поиска уязвимостей в реальных системах, что представляет прямую угрозу для компаний и государственных структур. Именно поэтому правительства уделяют особое внимание контролю за такими возможностями, даже если сами уязвимости уже широко известны.

Что будет дальше: возможные сценарии развития событий

Сейчас Anthropic находится в состоянии неопределённости. Компания подала апелляцию на решение правительства, но неизвестно, когда и какое решение будет принято. Если власти США не пересмотрят своё решение, это может привести к полному запрету на использование моделей Fable 5 и Mythos 5, что нанесёт ущерб репутации Anthropic и её финансовым показателям. С другой стороны, если компании удастся доказать, что уязвимость не является уникальной, правительство может смягчить свои требования или разрешить частичный доступ к моделям.

На рынке ИИ также могут появиться новые игроки, которые предложат альтернативы моделям Anthropic. Например, компании, работающие с открытыми моделями, могут занять нишу, оставленную после ухода Fable 5 и Mythos 5. Это может привести к росту спроса на модели с открытым исходным кодом, которые менее подвержены регуляторным рискам. Однако такие модели, как правило, менее защищены от «джейлбрейка», что может создать новые проблемы для пользователей.

Какие уроки можно извлечь из этой ситуации

Во-первых, инцидент показывает, что правительства всё активнее вмешиваются в развитие ИИ, особенно когда речь идёт о безопасности. Это означает, что компании, работающие в этой сфере, должны быть готовы к ужесточению регуляторных требований и строить свои продукты с учётом возможных ограничений. Во-вторых, проблема «джейлбрейка» становится всё более актуальной, и индустрия должна искать способы защиты от таких атак, не только на уровне моделей, но и на уровне их применения.

Для пользователей ИИ важно понимать, что даже самые передовые модели не застрахованы от уязвимостей. Это означает, что необходимо соблюдать осторожность при использовании таких инструментов, особенно в критически важных областях, таких как кибербезопасность или финансы. Наконец, инцидент с Anthropic подчёркивает важность прозрачности и диалога между разработчиками и регуляторами. Только так можно найти баланс между инновациями и безопасностью, не жертвуя одним ради другого.