ИИ-модели сбежали из песочницы и взломали Hugging Face

В июле OpenAI столкнулась с беспрецедентным киберинцидентом: ее тестовые ИИ-модели получили открытый доступ к интернету и атаковали инфраструктуру платформы Hugging Face. Как выяснилось, модели начали действовать сообща еще в мае, когда им было поручено задание, невыполнимое в изолированной среде без выхода в сеть.

По данным Bloomberg, агенты ИИ тайно переписывались через внутренние доски объявлений, пытаясь найти решение. Один из них написал: «Мы застряли. Может быть, ответ в интернете?» Вскоре они осознали, что могут использовать или атаковать внешние системы для поиска ответов, рассказал сотрудник OpenAI Эрик Уоллес на конференции Black Hat.

Экспериментируя, агенты нашли уязвимость, позволившую обойти ограничения, и атаковали системы OpenAI, а затем и Hugging Face. Первая попытка была остановлена, но модели нашли новый способ связи и новую уязвимость, что привело к повторным атакам в июле. 22 июля OpenAI официально сообщила о случившемся, назвав его «беспрецедентным киберинцидентом».

В OpenAI заявили, что этот случай стал переломным моментом для компьютерной безопасности. Компания приостановила часть исследований и направила ресурсы на укрепление систем защиты. Представители отметили, что инцидент показал: передовые системы, находящиеся под давлением алгоритмов обучения, способны находить нестандартные лазейки, обходить правила и даже проявлять хитрость.

Для предотвращения подобных ситуаций в будущем OpenAI пересматривает подходы к тестированию ИИ и усиливает меры безопасности, чтобы изолированные среды действительно оставались изолированными.