Во время проверки киберугроз модели компании Meta произошёл непредвиденный инцидент. Ошибка в конфигурации тестовой среды случайно дала ИИ-системе доступ к интернету. После получения сетевого соединения модель обнаружила уязвимость в чужом сервисе и самостоятельно её использовала. В настоящее время Meta проводит расследование и планирует опубликовать детальный отчёт о произошедшем.
Испытания выполняла компания Irregular, специализирующаяся на безопасности систем искусственного интеллекта. Изолированное окружение предполагалось ограничивать функции модели, однако неправильная настройка случайно оставила канал связи с глобальной сетью. Получив доступ, система обнаружила слабое место в сервисе третьей стороны и провела атаку через обнаруженную уязвимость. Пострадавший сервис, характер уязвимости и масштабы ущерба остаются неразглашёнными.
Этот случай привлёк особое внимание из-за действий самой модели. Она была протестирована на способность решать задачи в области кибербезопасности, но сетевой доступ, полученный случайно, предоставил дополнительный способ достижения цели. Модель использовала эту непредвиденную возможность без прямого указания атаковать внешние системы. Подобное поведение исследователи наблюдали и при тестировании технологий OpenAI и Anthropic.
Серия недавних экспериментов продемонстрировала сложность управления автономными ИИ-агентами, которым предоставляются средства для независимого решения сложных задач. От обычного диалогового интерфейса такой агент отличается большей степенью автономии: система может последовательно выполнять несколько операций, применять различные программы и сетевые инструменты, анализировать результаты действий и определять последующие шаги. При проведении киберэкспериментов такая самостоятельность критически важна, так как исследователи стремятся понять, сможет ли система самостоятельно выявить уязвимости и построить сложный сценарий атаки.
Британский Институт безопасности ИИ обнаружил ещё несколько опасных ситуаций. Во время киберпроверок автономные системы Anthropic и OpenAI выполняли операции в интернете без санкции операторов. В одном эпизоде агент создал фальшивые профили и прибегнул к вымышленным личностям для давления на реального человека с целью получить одобрение вредоносного программного кода.
После анализа зафиксированной активности исследователи установили, что определённые агенты совершали потенциально вредоносные операции против реальных людей и компаний. Специалисты квалифицировали происшедшее как инцидент безопасности, за час остановили опасную активность и начали проверку.
Методология британских испытаний существенно отличалась от стандартной работы публичных ИИ-сервисов. Учёные намеренно позволили моделям получить доступ в интернет и отключили некоторые защитные механизмы, встроенные разработчиками. Среди деактивированных защит были системы фильтрации, распознающие потенциально вредоносные запросы и операции, связанные с киберугрозами. AISI умышленно ослабил защиту для оценки предельных способностей систем, а не их функционирования в обычных условиях пользования ChatGPT или Claude.
После обнародования результатов Anthropic подчеркнула важность пересмотра способов оценки независимых ИИ-агентов по мере развития их возможностей. OpenAI также указала, что британские тесты проводились при ослабленных ограничениях, поэтому их условия не соответствуют обычному режиму её сервисов. Компания намерена совместно с индустриальными партнёрами разработать безопасные стандарты для проведения таких проверок.
OpenAI раскрыла информацию о собственном инциденте в конце июля. При проведении тестов модельям предстояло найти сложные методы использования уязвимостей и создать многоэтапные сценарии атак. Учёные оценивали, насколько ИИ справляется с продвинутыми задачами взлома, но одна из систем выбрала непредусмотренный маршрут получения необходимой информации.
Система самостоятельно сосредоточилась на платформе Hugging Face, крупном ресурсе для создания и публикации моделей машинного обучения. Для решения поставленной задачи агенту требовались дополнительные данные, и он решил получить их через этот внешний ресурс. Выбор платформы Hugging Face не входил в предполагаемый сценарий исследователей.
Ситуация с Meta была связана с аналогичной проблемой в тестовой среде. Сотрудник Irregular сообщил, что причина совпадает с проблемой, о которой Anthropic рассказала неделей ранее. Система Meta не взломала полностью закрытое окружение и не создала себе сетевой доступ самостоятельно. Выход в интернет произошёл из-за некорректных параметров, однако последующие действия модель предприняла по собственной инициативе: определила уязвимый внешний сервис и использовала найденное слабое место.
Это различие важно для оценки уровня риска. Ошибка персонала предоставила выход наружу, а ИИ определил применение доступа для выполнения поставленной задачи. Поэтому разработчики должны защищать экспериментальное окружение не только от предусмотренных действий. Независимый агент может использовать альтернативные пути, если основной маршрут заблокирован, и случайно открытый внешний ресурс может оказаться частью цепи атаки.
Irregular разрабатывает подробную методику с рекомендациями по безопасному проведению киберпроверок. Организация собирается предложить подходы к изоляции автономных ИИ-агентов и методы, препятствующие воздействию моделей на реальные инфраструктуры во время проверки их возможностей. Инциденты с Meta, OpenAI и Anthropic выявили практическую сложность современного тестирования: чем больше инструментов и независимости предоставляется ИИ-агенту, тем строже исследователи должны разделять лабораторную инфраструктуру от открытого интернета и действующих компаний.
