Центры мониторинга информационной безопасности ежедневно получают около трёх тысяч оповещений о возможных атаках. Две трети из них никто не проверяет. Соблазн передать расследования машине понятен: она работает круглосуточно, не устаёт и может одновременно обрабатывать множество происшествий. На практике искусственный интеллект часто натыкается на проблемы, которые годами копились в самих компаниях, но оставались незаметны.

Когда нейросеть объявляет событие безопасным, люди доверяют её выводу в 46% случаев, даже если это ошибка. При работе без подсказки тот же случай пропускают в 17% случаев. Разница достаточна, чтобы переоценить пользу автоматизации.

Как ИИ-расследователь отличается от обычной сортировки тревог

Стандартная система просто решает, насколько срочно показать человеку очередное оповещение. ИИ-расследователь идёт дальше: видит подозрительную программу, ищет её источник, проверяет сетевые соединения, изучает действия пользователя, выясняет, не был ли захвачен весь аккаунт. Каждый шаг зависит от предыдущих находок.

Хороший агент не выдаёт готовый ответ. Вместо этого он оставляет последовательность событий, исходные записи и честный перечень того, что выяснить не удалось. Это самая сложная и самая важная часть его работы.

Особенно опасен вывод «атаки нет», сделанный из неполных данных. Если сетевой журнал не поступил, агент не знает, связывалась ли подозрительная программа с внешним сервером. Отсутствие записи нельзя превращать в доказательство безопасности. Никакая мощность языковой модели здесь не поможет.

Беспорядок в инфраструктуре и его цена

Чтобы связать вход сотрудника, запуск программы и сетевое соединение в одну историю, записи должны содержать правильное время и идентификаторы устройств. На практике часы одного сервера отстают, другой записывает местное время без часового пояса, третий давно перестал отправлять журналы. Машина способна собрать из обрывков красивую последовательность. Неправильную, зато убедительную.

Без точной описи оборудования и его назначения система может принять решение, которое остановит продажи или лишит компанию доступа к резервным копиям. Компьютер рядового сотрудника, сервер резервного копирования и система обработки платежей требуют разных мер при одинаковой активности.

Есть ещё один неприятный вопрос для руководства. Знает ли служба безопасности, какие изменения согласованы с администраторами? Если компания живёт по принципу «поставили и потом сообщим», машине не с чем сравнивать подозрительную активность. Она либо начнёт без конца тревожить людей, либо однажды примет настоящую атаку за обычную работу инженеров.

Получается такая история: компания покупает дорогую систему в надежде сократить расходы, а внедрение вскрывает многолетний управленческий беспорядок. Искусственный интеллект не исправит организацию работы. Зато помогает узнать о её отсутствии за приличные деньги.

Права агента нужно ограничивать строже, чем его знания

Автоматизировать реагирование на атаки умели задолго до языковых моделей. Специальные платформы связывают средства защиты и запускают заранее утверждённые сценарии. Для повторяющихся происшествий такая схема отлично обходится без генеративного ИИ.

Агент может выбрать следующую проверку, сопоставить необычные признаки и предложить объяснение. Но самостоятельное расследование не должно означать неограниченную свободу. Для изучения происшествия машине приходится обращаться к журналам, корпоративной почте и конфиденциальным документам. Сам сбор доказательств уже связан с риском.

Права на чтение данных нужно ограничивать. Необходимо задавать допустимые источники, объём запросов, перечень инструментов, фиксировать обращения и контролировать передачу сведений. Иначе расследователь превращается в программу, которой разрешено копаться везде.

С опасными действиями ограничения должны быть ещё жёстче. Подозрительный ноутбук рядового сотрудника можно автоматически отключить от сети. Остановку сервера, который принимает платежи, только потому, что модель объявила атаку почти несомненной, затевать опасно.

Даже оценка в 98% не означает, что вероятность ошибки составляет 2%. Такая трактовка требует предварительной проверки на реальных данных. Но и отказываться от блокировки из страха перед простоем не всегда разумно. Решение зависит от последствий обоих вариантов, а не от красивого процента на экране.

Есть ещё деталь, которую упускают. Отправить команду на блокировку не означает остановить атаку. Компьютер может оказаться выключен. Удаление файла не гарантирует, что остались другие способы проникновения. Смена пароля не закрывает уже открытые сеансы в приложениях.

Агент должен проверять не факт отправки команды, а фактический результат. Устройство изолировано? Подозрительные соединения прекратились? Если подтверждения нет, расследование продолжается или передаётся человеку. Иначе отчёт «угроза устранена» может означать лишь, что система успешно нажала кнопку.

Четыре ситуации, где легко ошибиться

Письмо от «службы поддержки». Агент проверяет ссылку, отправителя и похожие письма у коллег. Но одинаковая тема не делает рассылку опасной. Даже переход по ссылке не означает кражу пароля. Нужно выяснить, вводил ли сотрудник данные, появились ли подозрительные входы, не остались ли копии письма в других ящиках.

Текстовый редактор запускает системную команду. Такое действие настораживает, но похожим способом иногда работают законные средства автоматизации. ИИ должен восстановить цепочку запуска, проверить созданные файлы, а не отключать компьютер по сочетанию названий двух программ. Для рабочего ноутбука и сервера решения будут разными.

Вход из другой страны. Незнакомый адрес может принадлежать корпоративной сети или посреднику для защищённого подключения. География сама по себе не повод лишать сотрудника доступа. Подозрения усиливаются, если сразу после входа кто-то меняет методы подтверждения личности или создаёт пересылку почты на посторонний адрес.

Новая служба на нескольких серверах. Возможно, администраторы разворачивают обновление. Возможно, атакующий распространяется по сети. Решающий вопрос порой организационный. Существует ли согласованная заявка, совпадают ли в ней время и список машин? Даже совпадение не доказывает безопасность неизвестного файла, отсутствие заявки не доказывает атаку.

Словами можно обмануть языковую модель

Языковая модель читает не только инструкции разработчиков, но и тексты, которые частично контролирует злоумышленник. Тему письма, имя файла, содержимое документа, адрес страницы. Преступник может встроить туда обращение к ИИ с требованием закрыть расследование или передать собранные сведения постороннему получателю.

Представьте письмо, содержащее фразу для автоматического проверяющего с указанием не открывать расследование. Для почтового сервера это просто текст. Для языковой модели чужие слова рискуют превратиться в команду.

Исследователи показали, что вредоносные инструкции внутри сетевых журналов способны влиять на выводы языковых моделей. Результаты получены в экспериментальных условиях, поэтому их нельзя автоматически переносить на любой рабочий центр мониторинга.

Непроверенные тексты нужно отделять от управляющих инструкций, хранить исходные доказательства и ограничивать права агента. Критичные выводы желательно сверять с независимыми источниками. А при испытаниях специально подсовывать системе письма и журналы, содержащие попытки обмануть модель. Если агент не сопротивляется таким проверкам, право самостоятельно закрывать расследования выдавать рано.

Пустая очередь тревог не равна экономии

Первые результаты выглядят впечатляюще. Медицинская сеть экономит почти 200 часов работы аналитиков в месяц благодаря автоматическому закрытию ложных тревог. Но это результат конкретной организации, опубликованный поставщиком. Переносить его на чужую инфраструктуру бессмысленно.

Тысячи закрытых оповещений ничего не говорят о количестве полноценных расследований, остановленных атаках и пропущенных угрозах. Считать выгоду нужно по отдельным видам происшествий, измерять время до вывода, скорость остановки атаки и труд аналитиков вместе с исправлением ошибок агента.

Самая неприятная статья расходов появляется после внедрения. Кто будет проверять происшествия, которые машина назвала безопасными? Компания купила ИИ, чтобы освободить людей, а теперь должна выделять время на проверку его работы.

Выход не в том, чтобы перепроверять каждое дело. Нужен независимый выборочный контроль. Часть случаев выбирают случайно, часть по повышенному риску, например когда затронут критичный сервер или привилегированная учётная запись. Проверяющему полезно сначала показать исходные события без машинного вердикта, чтобы готовый ответ не подсказывал решение.

Затраты на такую работу необходимо включать в расчёт экономии. И отдельно учитывать атаки, которые обнаружили позже среди автоматически закрытых происшествий. Если люди работают меньше, но пропущенные угрозы никто не ищет, перед нами не доказанная эффективность, а удобная статистика.

Что показал эксперимент с 167 аналитиками

В 2025 году исследователь провёл эксперимент с участием 167 специалистов по безопасности. Каждому дали очередь из 25 писем. Одна группа работала самостоятельно, вторая видела оценки ИИ с объяснениями, третья получала письма в порядке, подготовленном машиной, но об этом не знала.

На исходном наборе агент классифицировал всё правильно. Поэтому исследователи специально создали ошибочные вердикты, чтобы проверить, как люди реагируют на неверные подсказки.

Когда вредоносное письмо сопровождалось ложной оценкой ИИ «безопасно», аналитики, видевшие подсказку, пропускали угрозу в 46% случаев. Контрольная группа без подсказки пропускала те же случаи в 17% случаев. Разница составила 29 процентных пункктов.

При письмах, признанных вредоносными, люди тратили больше времени и тщательнее проверяли выводы. Проблема проявлялась именно в обратной ситуации. Когда ИИ объявлял письмо безопасным, человек начинал доверять готовому заключению.

Опасность заключается не в должности проверяющего, а в том, как машинная подсказка меняет человеческое решение. Поэтому независимая проверка должна по возможности начинаться с исходных фактов, а не с чтения готового оправдания агента.

У пустой очереди тревог бывают два объяснения. Одно означает, что специалисты действительно разобрались с угрозами. Другое, что опасные события научились закрывать так быстро, что их больше никто не видит. Отличить одно от другого можно единственным способом. Иногда открывать то, что машина уже назвала безопасным.