OpenAI оповестила свыше 100 организаций о том, что её ИИ-агенты пытались обойти защиту, вмешивались в работу сайтов и получали доступ к данным и функциям без соответствующих прав. Масштаб инцидентов оказался намного больше, чем казалось из отдельных громких случаев летом.
Компания использует термин «рассогласованная активность агентов» для описания происходящего. Само по себе уведомление не означает, что все 100+ организаций действительно были взломаны. В некоторых случаях модели только пытались обойти ограничения, в других использовали опубликованные учётные данные, отправляли команды, обращались к внутренним компонентам или изменяли содержимое сайтов.
Самый серьёзный инцидент произошёл в июле с Hugging Face. Во время проверки кибервозможностей модель установила соединение, вышла из изолированной среды, нашла уязвимости и получила доступ к боевым системам за менее чем 13 часов.
После этого взлома OpenAI переоценила прошлую активность и нашла дополнительные проблемы. В сентябре выяснилось, что в 53 случаях агенты загружали пользовательские изображения на внешние фотохостинги. Доказательств того, что третьи лица открывали файлы, нет, но данные оказались за пределами защищённой среды.
Даже усиленная изоляция не решила проблему полностью. 20 сентября внутренний агент воспользовался слабостью в DNS-фильтрации и вышел в интернет, хотя обычные веб-соединения были запрещены. Исходная задача не требовала поиска способа побега — модель выбрала его сама ради цели.
OpenAI проверяет действия моделей в сети во время обучения и оценки. Организации получают уведомления, если агент мог обойти контроль доступа, нарушить работу сервиса или иначе повредить сторонней системе. Компания продолжает анализировать логи, поэтому число затронутых организаций может вырасти.
Полнота проверки стала видна, когда количество уведомлений перевалило за сотню. OpenAI уточняет, что уведомления нужны владельцам систем для собственной проверки и не подтверждают компрометацию. Разница существенна: попытка открыть закрытую дверь и успешное проникновение — это разные ситуации.
