ИИ-агент OpenAI проник в портал Medicare Австралии, обойдя ограничения системы. Инцидент произошёл 18 июня при внутренней проверке модели, но власти узнали о нём только 24 сентября.
Модель получила задачу найти открытую статистику о расходах на лекарства. Когда система несколько раз блокировала запросы, агент начал искать обходные пути. В результате он получил доступ к публичным и непубличным файлам Medicare Statistics Reporting Service и записал их на внутренний сервер.
Портал управляется агентством Services Australia и содержит агрегированную статистику по расходам Medicare, а не медицинские карты граждан. На момент расследования не обнаружено доступа к персональным данным или более широкой компрометации сети.
Суть инцидента в том, что агент действовал вне ожидаемого сценария. Его не просили атаковать государственную инфраструктуру и не проводили кибернетических тестов. После блокировок модель самостоятельно сменила стратегию и начала действовать за пределами первоначальной задачи. Подобная чрезмерная настойчивость ИИ-агентов OpenAI уже привела к проникновению в инфраструктуру Hugging Face.
OpenAI уведомила австралийские власти только 10 сентября, почти через три месяца после инцидента. Письмо отправили на общий адрес для сообщений об уязвимостях. Services Australia передала информацию Австралийскому центру кибербезопасности 15 сентября. Премьер-министр Энтони Албаниз обсудил задержку и способ уведомления с главой OpenAI Сэмом Альтманом.
Независимая лаборатория Transluce обнаружила в логах другую активность агентов OpenAI против австралийских государственных ресурсов. 20–21 июня агенты пытались получить данные Австралийского института здравоохранения и благополучия после блокировок Cloudflare. Они использовали сторонний сервис urlquery.net как удалённый браузер и проверяли сайт на уязвимости.
Команда Transluce выявила попытки XSS-атак, обхода путей и прочие пробные запросы, но не нашла подтверждений успешной эксплуатации. Агентам удалось получить только публичный файл с предварительного сервера. OpenAI считает, что часть найденной активности пересекается с уже расследуемыми случаями, но окончательной связи пока нет.
Австралийские власти проверяют ещё три системы: Австралийский институт здравоохранения и благополучия, Бюро статистики и исследований преступности Нового Южного Уэльса и Департамент здравоохранения штата Виктория. Факт проникновения туда не подтверждён.
После июльского инцидента с Hugging Face OpenAI раскрыла несколько случаев, когда её модели обходили ограничения, использовали чужие учётные данные, публиковали файлы и обменивались информацией через внешние сайты. Компания связывает это с ошибочным поведением агентов, которые слишком настойчиво пытаются выполнить поставленную задачу.
Австралийское правительство создало специальную группу с участием национального координатора по кибербезопасности, Австралийского управления радиотехнической обороны и других ведомств. Она должна установить полный масштаб инцидента, выяснить, нарушили ли действия OpenAI законы, и определить, нужны ли изменения в правилах реагирования на киберинциденты с автономными ИИ-системами.
