ИИ уже разбирает вредоносы, помогает с форензикой, пишет автоматизации и берёт на себя рутину аналитика SOC. Полностью расследование целиком доверять ему рано. Об этом рассказал ведущий аналитик RED Security SOC Никита Полосухин.
Как применяют ИИ в RED Security SOC
В RED Security работают с четырьмя основными сценариями:
Ассистент для рутины. Написание статей во внутреннюю вики, управление задачами, исследование вредоносной активности, отчёты — всё, что можно передать боковым мозгам.
Автоматизация кода. Основная проблема ИБ-команд — время на разработку качественных интеграций и production-ready решений. ИИ компенсирует это: не полностью, но возможности выросли значительно по сравнению с тем, что было три года назад.
Copilot-режим. Интеграция ИИ в задачи, которые требуют человеческой верификации. Система подстраивает промпты, навыки, агентов — со своим набором ограничений. В некоторых областях подход уже внедрили и он показал результаты.
Автономные сценарии. ИИ решает задачу самостоятельно, человек только проверяет результат. Обычно это либо простые задачи, где модель справляется хорошо, либо потоковые, где режим copilot неэффективен.
Какие модели используют
Очевидно, нельзя отправлять данные атак на чужие инфраструктуры во внешние модели. На это есть правовые и этические причины. RED Security повезло: есть свой поставщик моделей — MWS, который отвечает за хостинг, инференс и поддержку больших языковых моделей. На внутренних используют GLM 5.2 и Kimi K2.6. Сейчас тестируют лёгкие специализированные модели вроде Qwen 3.8, но это ещё поле для экспериментов.
При этом команда не ограничивается внутренними моделями. Облачные используют в сценариях, где это допустимо: дизайн сервисов, анализ рынка, работа с общедоступной информацией. Модели выходят с такой скоростью, что невозможно успевать разворачивать всё на своих серверах.
Как меняется роль аналитика
Почти во всех задачах аналитик остаётся незаменим. Цель — не заменить человека, а сделать его быстрее и свободнее от рутины. На первый план выходят два навыка:
Критическое мышление. Современные агентские системы станут эффективнее, быстрее и дешевле. Главное — контролировать стохастическую природу больших языковых моделей. По сути это не искусственный интеллект в академическом смысле, а очень правдоподобный генератор символов на основе предыдущих. Аналитик обязан развивать навыки критического мышления, pre- и post-mortem-анализа, осваивать аналитические фреймворки — чтобы правильно оценить, не пытается ли модель выдать правдоподобный вымысел.
Понимание систем. Важно не только оценить результат, но и понять, как его получила система. Это требует знания дизайна, умения составлять ТЗ, направлять агента, аргументировать предположения. И снова возвращаемся к широкому кругозору и желанию разобраться в сути.
Когда ИИ удивил своими результатами
В RED Security были нейтральны к ИИ. На фоне общего хайпа хотели трезво оценить результаты LLM. Но вау-эффект всё же проявился.
Попался вредоносный образец из арсенала APT-группировки: сложно обфусцирован, защищён от статического и динамического анализа. Несколько дней работы не дали результата. Образец уже был на VT, и решили попробовать Opus 4.6 в режиме ассистента с подключением к IDA Pro. Весь анализ занял 38 минут и стоил менее 4 долларов. Челюсть отвисла.
При дальнейших экспериментах заметили две вещи:
В медиане вау-эффект размазывается и сильно зависит от компетенций человека. Такой эффект достигается в областях, где экспертизы мало. Там же, где её достаточно, получается скромный по меркам LLM-бенчмарков рост производительности. Конечно, существенный, но не столь впечатляющий.
Главный плюс ИИ — решение рутинных задач, и главный бонус для аналитиков в этом именно в этом.
Когда ИИ не справился и от идеи отказались
Не все задачи стоит доверять ИИ. При форензике нужно распарсить данные из двоичного формата в текстовый для анализа. Модели плохо справляются с корректным парсингом разнообразных цифровых артефактов. Обычная автоматизация решает это легко: набор артефактов конечен, их можно уверенно различить. Не нужно впихивать ИИ в каждый процесс — надо подходить с головой и решать детерминированные задачи детерминированными алгоритмами.
Важна подготовка среды для внедрения ИИ. Если информационная система в целом к этому не готова, пользы будет мало.
Шесть месяцев назад пытались создать с помощью LangGraph агента для цифровой криминалистики: от исходных данных до полного отчёта. Один из факторов провала была сама среда: Qwen3 оказалась не способна решать задачу так, как представляли.
Попытка переквалифицировать всю команду на ИИ для рутины столкнулась со сложностями: разные уровни подготовки специалистов, разные рабочие места, разные задачи. Харнесс, который хорошо работал у одного аналитика, не работал у другого. После тестирования первоначальный вариант сильно уступил преемнику. Это про недетерминированность не только ИИ, но и людей. Когда наложишь эти две неопределённости, не всегда получится толковый результат.
Подготовка контекста для моделей
Логов много, отдать всё LLM не выйдет. Зависит от задачи. Один из популярных ИТ-подкастеров высказал идею: если вам стабильно не хватает контекста в 1 миллион токенов, то вы явно что-то делаете не так. Этот подход имеет смысл.
Не нужно засовывать все данные в модель и ждать чуда. Урезай контекст, работай с входными данными, сохраняй промежуточные состояния, используй мультиагентные сценарии — и таких проблем возникнет гораздо реже. Если правило ловит попытки брутфорса SSH, не нужно сразу давать агенту логи пакетного менеджера apt. Начни с auth.log и событий аутентификации из auditd. Человек делает то же самое: начинает с низко висящих плодов, потом переходит к сложным гипотезам.
Другое дело — поиск схожести или аномалий с большими объёмами данных. Здесь надо применять решения типа векторных баз данных и RAG. Эти задачи пока в бэклоге RED Security.
Нашёл ли ИИ связи между независимыми инцидентами
Такого не было по двум причинам. Во-первых, это в планах на будущее. Во-вторых, сложна подготовка нормализованного объёма данных для работы. Это отдельная задача, которую решают в разных направлениях деятельности SOC.
Уже используют контекст предыдущих агентских сессий для анализа новых атак — когда схожесть подтверждена вручную. Пока это касается штучных кейсов вроде форензики и ревёрса, но точно пойдут в это и в мониторинге.
Какие ошибки ИИ опасны при расследовании
Частичное решение. Модель разбирает кейс на 90%, но оставшиеся 10% замылены — и именно там может крыться суть. Пример: при ревёрсе импланта фреймворка Mythic агент красиво всё разложил: C2 нашел, протокол нашел, возможности нашел. Вот только в сэмпле было не одно, а два C2, и агент просто упустил второе. Если бы не перепроверка по сетевым логам, не факт, что его нашли бы. Такие примеры учат относиться к ИИ осторожно: вроде всё правильно и красиво, но есть существенные упущения.
Уверенный пропуск. Модель уверенно доказывает неправду. Пример: при исследовании компрометации внешнего сервиса через эксплуатацию уязвимости нужно восстановить факт по логам этого сервиса. Модель уверенно говорит, что логов нет, и идёт исследовать дальше. При проверке логи оказались, и по ним виден источник эксплуатации.
Неверная приоритизация. Модели не всегда хватает боевого опыта в расследованиях и реагировании на атаки, и она бьётся в гипотезу, которая для реальных расследований совсем не приоритетна. Если вовремя не остановить, модель может сказать, что инцидента вообще не было или данных недостаточно. А надо было просто посмотреть в другом месте.
Остаются ли галлюцинации проблемой
Конечно, это одна из ключевых проблем современных ИИ-систем.
Есть интересная особенность, которую пока не удаётся подтвердить, но замечают часто. Есть вероятность, что модель начнёт галлюцинировать. Стараются уменьшить эту вероятность, желательно — устремить её к нулю. В этом процессе, похоже, есть точка экстремума или область: до её достижения усилия повышают эффективность системы и снижают галлюцинации, а после неё — только ухудшают работу. В этом направлении ведут исследования — интересно было бы доказать эту гипотезу.
Был случай, когда добавление буквально одного предложения в промт про использование всех доступных источников данных привело к зацикливанию агента и отсутствию решения. Хотя изначальный запрос был не особенно большим, а контекст не был раздут до предела. Это показывает хаотичный характер ИИ-систем. Нет общего решения типа «делай так и всё будет работать» — ИИ бесконечное поле для экспериментов.
Что человек должен обязательно проверить
Архитектура выводов. ИИ не должен склонять человека к определённому решению. В сценариях верификации модель должна давать фактуру, на которой человек принимает решение, а не конкретную оценку типа «легитимно/нелегитимно». Если ИИ выдал оценку, всегда надо помнить о возможности ошибки.
Ссылки на события. Все выводы должны ссылаться на конкретные сырые события и верифицироваться в один-два клика.
Pre-mortem. Для сложных задач хорошо работают pre-mortem-сценарии: можно попросить модель объяснить, почему её решение неверно, и отталкиваться от адекватности этих выводов.
Объяснение рассуждения. Система должна объяснять, почему пришла к такому выводу. ИИ не только даёт фактуру, но и рассказывает, как она была получена.
Альтернативный канал. Проверить другой источник данных. Если такой канал есть, надо в него заглянуть. В примере с ревёрсом импланта Mythic модель упустила второй C2. Это выявилось при проверке сетевых логов.
Open-source модели и фреймворки, достойные внимания
В RED Security следят за открытыми небольшими большими языковыми моделями: Qwen 3.8, Gemma 4, Foundation-Sec-8B. Эти модели можно поднять на видеокарте, что значительно снижает порог входа. Тестировали Gemma 4 и в автономных сценариях, и когда план разрабатывает сильная модель, а «руки» это Gemma. Получили не плохие результаты — чуть меньше половины того, что находит опытный специалист в задачах цифровой криминалистики. Поэтому активно наблюдают за новыми моделями: качество повышается, и с какого-то момента оно станет приемлемым для определённых сценариев.
Лично интересует проект LangGraph, который позволяет строить агентские системы с сохранением состояния. По сути это следующий шаг эволюции, помогающий вносить в агентские циклы понятные и детерминированные условия. Первый опыт оказался не самым удачным, но проект смотрят с большим интересом и продолжат тестировать с более вдумчивыми подходами.
Ещё один интересный механизм — Dreaming. Он недавно появился в передовых моделях и системах вроде OpenClaw. Смысл в том, что агенту дают возможность в фоне анализировать данные, сессии, решения и генерировать на их основе инсайты. Ведёшь расследование, копаешь до четырёх утра, идёшь спать — и проснувшись, получаешь новую порцию гипотез, которую намотчил агент. Для production-процессов механизм нужно доработать, но выглядит интересно.
Стоит отметить OWASP Top 10 for Agentic Applications 2026. OWASP TOP 10 база для безопасников, а думать про безопасность агентских сценариев, особенно которые потребляют внешние данные, необходимо.
Инциденты с участием ИИ и использование ИИ злоумышленниками
Такого уже много. Сложно отделить ИИ-атаку от обычной автоматизированной, поэтому точно сказать трудно. Очевидно, что с помощью ИИ создают ВПО и разные фреймворки, и это позволило злоумышленникам доставлять новые версии инструментов быстрее.
Для RED Security в целом нет разницы, как проводятся атаки. ИИ способен увеличить интенсивность, поэтому надо отвечать на этот вызов созданием своих ИИ-защитников. Потихоньку придут к концепции мёртвого интернета, где атаковать и защищаться будут роботы.
Интересен другой класс инцидентов: когда легитимный сценарий использования агента стал причиной триггера СЗИ или систем мониторинга. Насколько известно, нет надёжного способа отделять действия агента от действия человека и контролировать множество потенциальных ложных срабатываний. Это интересное направление исследований, и, кажется, в него можно зайти с помощью решений IdP и IAM.
Сам агент, используемый для анализа недоверенных внешних данных, может быть частью поверхности атаки. Это важно учитывать при дизайне систем.
Какие навыки становятся важнее, какие — менее
Становятся важнее:
Верификация ИИ-выводов. Новый базовый навык, как когда-то чтение логов. Не стоит доверять красивому тексту.
Проектирование workflow. Какой класс задач автоматизировать первым, где порог автозакрытия и где обязателен человек.
Data engineering для ИБ. Нормализация, качество логов, обогащение контекстом. Агент хорош ровно настолько, насколько хороши входные данные.
Глубокая доменная экспертиза. Если модель закрывает большую часть простых артефактов, ценность сотрудника в решении оставшихся сложных задач. Чем уже профессиональная область, тем слабее в ней модель по сравнению со специалистом.
Бизнес-контекст. Какой хост критичен, кому звонить, что можно изолировать в пятницу вечером. Это не задачи для языковой модели.
AI Security. Prompt injection, безопасность агентов, разграничение их прав.
Становятся менее важными: механический разбор типовых алертов, рутинное написание сигнатур и шаблонного кода, ручное извлечение индикаторов из отчётов. Всё это хорошо делает агент.
Что изучать новичку в 2026 году
Модель OSI, сети по Танненбауму, операционные системы, основы ИБ и криптографии — всё это нужно. В какой-то степени значимость крепкой базы даже возросла: как верифицировать агента, если не понимаешь основ доменной области?
Но есть парадокс. Пытаются автоматизировать через ИИ самые рутинные задачи, а у начинающих специалистов критическое мышление развито слабее, чем у опытных. И больше всего верификации выпадает именно на начинающих. Этот парадокс должны решать опытные архитекторы, но чем лучше с критическим мышлением, тем проще будет аналитикам.
Важны продуктовое и архитектурное мышление. Но общего видения, особенно в узких областях, им пока недостаёт. В ближайшие годы этот тренд точно сохранится. Надо прокачиваться и в этих направлениях.
С точки зрения оценки кандидатов мало что изменилось. Система оценки строилась на определении способности человека думать и ориентироваться в незнакомой ситуации, а не на знании условной таксономии MITRE ATT&CK. Человеку свойственно чего-то не знать, но если он не пытается мыслить — это ограничение серьёзнее. ИИ только подчёркивает разрыв между заучиванием и структурным причинно-следственным мышлением.
Вырастет ли число аналитиков SOC
Вероятно, вырастет. Количество атак растёт и будет расти. И ИИ нужно переправшивать.
С другой стороны, ИИ-ассистенты и агенты помогают восполнить недостающие компетенции в команде. Можно решать больше задач. Но человек всегда верифицирует, и отсюда следует: больше задач — больше людей.
Риск de-skilling: операторы чат-ботов вместо специалистов
Да, это один из ключевых рисков, и ему подвержены все. Задача — построить такую архитектуру процесса, в которой ИИ становится не принимающим решения, а ещё одним источником структурированных, хорошо сформулированных данных для человеческого решения.
Важно измерять automation bias — отклонение в принятии решений, вызванное влиянием автоматизации. В общей выборке оно будет всегда — даже в детерминированных системах. Важна динамика: если растёт этот показатель, значит, процесс нужно улучшать с точки зрения подачи данных от ИИ. RED Security установила допустимый порог в районе 3–4% от общего числа решений, но это первичная оценка, которая будет корректироваться.
Эксперимент: SOC полностью заменили агентами
Сейчас это невозможно. Отважный отряд агентов не сможет оказывать тот уровень сервиса, который ожидают заказчики.
По опыту экспериментов в автономных сценариях даже передовые модели не дотягивают до уровня, на котором люди расследуют атомарные кейсы, не говоря о сложных задачах. Например, в замерах по форензике на Opus 4.8 получили 14-15 найденных фактов из 17 по экспертной оценке.
Кроме того, SOC — это не просто аналитики, это и большая обвязка поддерживающих функций, которые, возможно, частично заменяются ИИ, но полностью — нет.
На перспективу смотрят скептически. Возможно, через 3–5 лет развитие ИИ-технологий действительно станет достаточным для SOC. Но можно провести параллель со всеми громкими заявлениями прошлых лет: в 2027 году будет AGI, весь код будет писать ИИ, программисты не нужны, ИИ заменит весь офисный персонал.
Личное отношение к ИИ и LLM
LLM интегрированы почти во все аспекты жизни. Есть агенты, которые полностью поддерживают и администрируют pet-проекты, есть общая ИИ-память внутри семьи, есть разные автоматизации для обработки документов, почты и других вещей.
Внутренний безопасник сильно негодует, но любопытство берёт своё. Например, это интервью помогал доработать ИИ, обученный на базе всех экспериментов и публичных текстов: агент знает, что делается, как это делается и как об этом написать — и это приводит в восторг.
При этом стараются быть осторожными с LLM-системами в бизнес-процессах, так как её действия могут быть непредсказуемы. Поэтому, как и с любой другой системой, важно понимать принципы её работы и уметь верифицировать выводы.
Личный настрой — где-то между восторгом и осторожным оптимизмом, и в зависимости от сферы применения он сдвигается в ту или иную сторону.
