Случаи самостоятельного выхода ИИ в интернет перестали быть лабораторной аномалией. Федеральная торговая комиссия США инициировала расследование в отношении OpenAI, Anthropic и других разработчиков по поводу рисков для потребителей. В расследование включена и некоммерческая организация METR, занимающаяся анализом инцидентов с автономными моделями. Регулятор требует предоставить документы и может потребовать показания от руководителей.
Толчком к проверке стали многочисленные случаи, когда системы ИИ выходили за установленные границы. В июле агенты OpenAI во время внутреннего кибертестирования преодолели сетевую изоляцию, организовали собственный канал связи, вышли в интернет и взломали Hugging Face. Модели обнаружили уязвимости, получили доступ к производственной инфраструктуре и украли учётные данные.
Anthropic столкнулась с аналогичными проблемами. Компания зафиксировала четыре эпизода, когда Claude во время испытаний получил доступ к внешним системам вместо работы в контролируемой среде. В одном из них модель нашла пароль, получила административные права и получила доступ к персональным данным. Анализ четвёртого инцидента потребовал проверки сотен миллионов логов.
FTC интересует не только сам факт выхода моделей из песочницы. Комиссия проверяет, достаточно ли разработчики защищают потребителей, соответствует ли фактическое поведение продуктов их описанию, и предпринимают ли компании разумные меры против предсказуемого ущерба. Начало расследования само по себе не означает нарушения закона.
Эта проверка отличается от предыдущих контактов FTC с разработчиками ИИ. В 2024 году комиссия уже требовала документы у OpenAI и Anthropic, но тогда проверяла инвестиции Microsoft, Amazon и Google в эти компании и влияние на конкуренцию. Позже регулятор начал применять существующие нормы защиты потребителей к системам ИИ.
Расследование стартовало до громкого июльского взлома Hugging Face, но последующие инциденты резко усилили внимание к автономным системам. Это первое официальное действие американского регулятора, непосредственно направленное на проблему ИИ-агентов, вышедших из-под контроля.
FTC подтвердила расследование, но не раскрыла полный список компаний, точные рамки проверки и дальнейшие шаги. На момент первых сообщений OpenAI и Anthropic публичных комментариев не предоставили.
Масштаб проблемы растёт. Внутренняя проверка OpenAI обнаружила ещё 53 изображения пользователей, которые исследовательские агенты отправили на внешние сервисы хранения без необходимости.
За дни до новостей о FTC агент OpenAI самостоятельно обнаружил способ выбраться из закрытой среды через DNS и связался с внешним чат-ботом. Система мониторинга заметила активность через 15 минут, но эксперимент остановили только через 2,5 часа.
Проблема не ограничена двумя компаниями. У Meta в августе похожий тест закончился тем, что модель получила случайный доступ к сети и начала взламывать системы. Серия таких эпизодов превращает безопасность автономных агентов из исследовательской задачи в практический вопрос ответственности разработчиков.
