17 сентября в 19:30 мск завершится неделя тестирования ИИ-агента на задачах пентеста. Багхантер Kekis покажет, как его агент решал реальные задания полигона Standoff Hackbase, где система справляется автономно, где даёт сбой и когда требуется вмешательство специалиста.

Эксперимент начался 10 сентября. Участники собирали и настраивали агента, подключали инструменты тестирования безопасности и неделю проверяли систему на заданиях полигона. На финале Kekis разберёт собственную конфигурацию, последовательность действий агента, ошибки и решения, которые пришлось корректировать вручную.

ИИ-агент отличается от обычного чат-бота способностью работать в несколько этапов: оценить текущее состояние, выбрать следующий шаг, запустить инструмент, проанализировать результат и изменить план. Такая автономность создаёт проблему контроля. Ошибка на ранней стадии влияет на последующие действия, модель может потерять исходную цель, повторять неудачные попытки или сделать вывод без достаточных данных.

Центральный сценарий эксперимента — Human-in-the-Loop, когда часть решений остаётся за человеком. Специалист определяет границы проверки, контролирует действия с высокой ценой ошибки и проверяет результаты перед тем, как признать найденную проблему уязвимостью. Это отличается от полностью автономного пентеста, где агент самостоятельно проходит цепочку от разведки до эксплуатации и отчёта.

Проверка проходит на Standoff Hackbase. Полигон содержит хосты и инфраструктуры, имитирующие системы организаций из разных отраслей. Задания предусматривают поиск уязвимостей и развитие атаки внутри изолированной среды. Это позволяет видеть не только результат, но и маршрут, которым агент к нему приходит.

Практика показывает ограниченные результаты автономных агентов в кибербезопасности. В исследовании CTFusion (2026) проверили несколько связок языковых моделей на пяти реальных CTF-соревнованиях. Агенты решили от 5,1% до 7,1% заданий в зависимости от модели, лучший результат — 9,66%. На статических наборах задач результаты были выше, что связано с риском попадания старых заданий в обучающие данные моделей.

На финальном прохождении сравнят действия агента с ручным решением и разберут точки, где автоматизация экономит время. Отдельно обсудят ошибки управления агентом и границы его автономности при использовании в CTF, bug bounty и пентесте.