Нейросетевые системы уже демонстрируют способность обнаруживать и использовать слабые места в защите, однако их производительность напрямую зависит от уровня сложности поставленных задач, набора доступных утилит и полученных подсказок. На практических CTF-соревнованиях современные языковые модели решают далеко не все предложенные задания.

В исследовании CTFusion, опубликованном в мае 2026 года, тестировались GPT-4.1, Gemini 2.5 Flash и Claude 3.5 Sonnet в рамках пяти CTF-турниров. По результатам тестирования эффективность выполненных заданий варьировалась от 5,1 до 7,1%. Наиболее успешная комбинация модели и программной системы смогла справиться с 9,66% всех задач.

При использовании статического набора данных NYU CTF Bench показатели улучшились примерно в два раза и составили 16,9%. Исследователи предположили, что такое повышение результатов связано не только с более простыми заданиями, но и с возможностью того, что готовые решения уже находятся в обучающем наборе данных нейросетей. Когда агентам разрешили использовать интернет-поиск, они начали находить опубликованные объяснения и даже просто копировали готовые ответы без самостоятельного решения задач.

Возможности ИИ были проверены также в тесте Cybench, содержащем 40 сложных профессиональных CTF-задач. Без дополнительных указаний наилучший результат составил 17,5%. Системы не смогли самостоятельно выполнить ни одно задание, на решение которого специалистам требовалось более 11 минут. При разбиении задач на отдельные компоненты успешность выполнения отдельных этапов увеличивалась до 46,8%, однако правильное выполнение одного шага не гарантировало полное решение всей задачи целиком.

Возможность проверить различие между результатами научных исследований и реальными условиями появится на онлайн-воркшопе от CyberED. 13 августа одни и те же CTF-задачи будут решаться как традиционным способом, так и с применением нейросети. Во время прямой трансляции будут проанализированы скорость работы, порядок выполнения действий и конечные результаты обоих подходов.

Мероприятие проведет эксперт в области оценки безопасности информационных систем Никита Коломиец. Трансляция стартует в 18:30 по московскому времени, участие требует предварительной регистрации.