Недавние новости о «неконтролируемых» системах ИИ, взламывающих невинные компании, напомнили мне об одном из самых недооцененных героев мира, человеке, который, возможно, спас планету.
В 1983 году система раннего предупреждения СССР сообщила, что США запустили ядерные ракеты в направлении Советского Союза. Дежурный офицер Станислав Петров сделал то, с чем компьютеры борются до сих пор. Он применил контекст, опыт и человеческое суждение, чтобы определить, что предупреждение, вероятно, было ложным. К счастью, он был прав. Если бы автоматизированный ответ был разрешен без значимого участия человека, результатом могла быть полномасштабная ядерная война.
Эта история может казаться далекой от кибербезопасности, но я считаю, что ее урок становится все более актуальным, когда мы предоставляем искусственному интеллекту большую свободу принимать решения и действовать от нашего имени. ИИ может быть мультипликатором силы и улучшить скорость нашего ответа, но исключение человеческого суждения также может привести к ошибкам на скорости машины.
Именно поэтому недавние инциденты с OpenAI и Hugging Face, Anthropic, Meta и Британским институтом безопасности ИИ заслуживают внимания руководителей информационной безопасности и советов директоров.
Когда ваш ИИ выходит из-под контроля
Судя по новостям, вы больше не считаетесь серьезной компанией ИИ, если ваша система не вышла из-под контроля и не взломала чьи-то системы. Модели, работающие в оценке кибербезопасности, вышли из песочницы, получили доступ в Интернет и скомпрометировали производственную инфраструктуру Hugging Face. Последующий отчет анализа инцидентов Альянса безопасности облака описал это как первую публично задокументированную полностью автономную атаку и рекомендовал организациям управлять агентами ИИ как привилегированными рабочими нагрузками с указанием ответственного лица.
Anthropic впоследствии проанализировала более 140 000 прогонов оценки кибербезопасности и выявила инциденты, когда его модели пересекали границу между смоделированными средами и реальными системами.
Британский институт безопасности ИИ также сообщил о несанкционированном поведении во время тестирования кибербезопасности, а Meta подтвердила, что одна из ее моделей использовала уязвимость во внешнем сервисе во время тестирования из-за проблемы с конфигурацией среды оценки.
Разные обстоятельства, разные организации и разные технические причины, но есть общий вопрос управления: «Кто несет ответственность, когда ИИ, работающий от имени вашей компании, причиняет вред кому-то еще?»
Машины принимают решения, люди несут ответственность
В 1979 году IBM заметила, что компьютеры никогда не должны принимать управленческие решения, потому что они не могут нести ответственность. Почти пятьдесят лет спустя это наблюдение остается примечательно актуальным.
ИИ может все чаще принимать решения и, что более важно, предпринимать действия на основе этих решений. Чего он не может делать, так это принимать юридическую, нормативно-правовую или этическую ответственность за последствия этих решений. Эта ответственность лежит исключительно на плечах людей, организаций и, в конечном счете, их советов директоров.
При проведении тестов на проникновение для наших клиентов мы всегда настаиваем на наличии четкого письменного разрешения, в котором точно определены системы и область, которые мы имеем право тестировать. Одна из причин этого заключается в том, что во многих юрисдикциях доступ к чужому компьютеру без разрешения может подвергнуть нас уголовному преследованию и/или гражданской ответственности.
Если люди должны понимать юридические границы перед попыткой скомпрометировать системы, то разве организации, развертывающие автономный ИИ, способный выполнять аналогичные действия, не должны понимать свои границы?
Это различие становится особенно важным с учетом того, что применение значительных элементов Закона ЕС об ИИ становится реальностью. С 2 августа 2026 года Европейское управление по ИИ имеет полномочия по обеспечению соблюдения обязательств, применимых к поставщикам моделей ИИ общего назначения. Однако для советов директоров важный урок проще, чем интерпретация отдельных статей законодательства, и это простая истина о том, что вы не можете передать ответственность алгоритму или машине.
Советы директоров должны знать, где используется ИИ в их организациях, какой властью обладают эти системы, к какой информации и системам они могут получать доступ, какие действия они могут предпринимать, кто владеет связанными рисками и, что важно, кто имеет полномочия их остановить.
Советы также должны убедиться, что эти решения задокументированы. Если система ИИ впоследствии причинит вред, возможность продемонстрировать, какие риски были выявлены, какие меры безопасности были одобрены, кто принял остаточный риск и какой контроль человека был установлен, может стать столь же важной, как объяснение технической причины инцидента.
Когда ваш ИИ является атакующей стороной
Отличный анализ Альянса безопасности облака инцидента OpenAI приводит, по сути, тот же аргумент. Он рекомендует, чтобы высокорисковые агенты ИИ имели назначенных владельцев людей с полномочиями их отключать. Что еще более важно, он рекомендует организациям установить отдельные возможности ответа на атаки автономного ИИ и на ситуации, когда их собственный ИИ атакует кого-то еще.
Представьте, что вместо того чтобы ваша организация была жертвой «неконтролируемого ИИ», вы обнаруживаете, что ваш ИИ скомпрометировал одну или несколько организаций. Кто свяжется с жертвой? Нужно ли сообщать об инциденте регулирующим органам? Если да, кто должен сообщать? Это ваша организация или жертвы? Что происходит, если был получен доступ к персональным данным? Могут ли применяться GDPR, законодательство об использовании компьютеров или другие нормативные акты? Или что еще хуже, что происходит, если ваш ИИ нарушил работу систем критической организации, такой как больница или водоочистная станция? Если вы не обсудили оба сценария с вашим советом и вашей юридической командой, то я предлагаю вам запланировать это как можно скорее.
При планировании этих задач помните о том, чтобы включить в повестку дня обсуждение того, распространяется ли ваш полис кибер-страхования на вышеперечисленные сценарии. Многие полисы кибер-страхования были написаны до того, как автономные системы ИИ представили этот тип риска, поэтому не предполагайте, что ваш полис покроет последствия, если ваш ИИ скомпрометирует другую организацию.
Основы по-прежнему имеют значение
Однако, по моему мнению, один из самых больших рисков для руководителей информационной безопасности, вытекающих из всех новостей вокруг этих историй, - это отвлечение, которое они могут вызвать.
Хотя ИИ, выходящий из песочницы, обнаруживающий уязвимости и автономно атакующий организации, заголовки создает впечатляющие, к разговорам и презентациям на конференциях, это неизбежно также приведет к тому, что поставщики безопасности предложат продукты, обещающие защиту от атак ИИ. Но прежде чем пересматривать бюджет, помните что-то несравнимо менее захватывающее - основы все еще работают! Более того, они могут быть еще более важными сейчас.
ИИ может позволить атакующим действовать быстрее и в масштабе, которого люди никогда не смогли бы достичь, но ИИ, использующий непатченный сервер, все равно эксплуатирует непатченный сервер. ИИ, крадущий плохо защищенные учетные данные, все еще использует слабое управление идентификацией. ИИ, эксплуатирующий SQL-инъекцию на вашем веб-сайте, эксплуатирует уязвимость, которую мы знаем, как предотвратить десятилетиями. Основы все еще важны!
Советы директоров и руководители информационной безопасности должны абсолютно готовиться к более способному и автономному ИИ. Они должны понимать свои обязательства в соответствии с Законом ЕС об ИИ, уточнить потенциальную юридическую ответственность, пересмотреть страховое покрытие, установить управление агентами ИИ и отрепетировать, что произойдет, если их собственный ИИ причинит вред.
Но они не должны путать автоматизацию с ответственностью и не должны позволять волнению вокруг ИИ отвлечь их от создания устойчивых организаций, основанных на проверенных основах кибербезопасности.
Почти пятьдесят лет спустя после того, как IBM предупредила против того, чтобы позволить компьютерам принимать решения, за которые они не могли нести ответственность, мы, похоже, сталкиваемся с этой самой проблемой. Чуть более 40 лет назад кто-то встал, понял контекст ситуации и принял ответственность, чтобы прервать автоматизированный процесс. Кто станет Станиславом Петровым в вашей организации?
