Решение о ядерном ударе должно оставаться за человеком, но опасность возникает раньше. Автономная система может внедриться в ядерную сеть, запустить кибератаку или ошибочно ответить на действия противника. Тогда у военного командования останутся считаные минуты, чтобы разобраться: это настоящая атака или сбой программы.
Мелани Сиссон из Brookings Institution и Цзян Тяньцзяо из Фуданьского университета предложили США и Китаю заранее установить границы для военного ИИ. Оба участвуют в неофициальном американо-китайском диалоге по ИИ и национальной безопасности, который ведётся с 2019 года. Обе страны готовят более широкий диалог, где центральным вопросом станут автономные системы и риск неконтролируемых кибератак.
Первая граница — ядерные силы. ИИ не должен сам решать, применять ядерное оружие или атаковать системы ядерного командования и связи. Сиссон добавляет, что человек должен решать и о кибератаках на такие системы или критическую инфраструктуру. Ошибка программы, выход за пределы инструкций или скомпрометированная модель создадут видимость первого удара.
Вторая проблема глубже. Нужно определить, что означает «значимый человеческий контроль». Когда система отвечает за миллисекунды, формальное одобрение человеком мало поможет. ООН в июле требовала провести такую красную линию для летального автономного оружия.
Третий механизм — отдельная горячая линия для ИИ-инцидентов. Она позволила бы быстро сообщить другой стороне, что необычная операция — это ошибка или неправильное решение. Без этого автоматическая защита одной страны может спровоцировать ответ, который противник воспримет как новую атаку, создав цепь взаимной эскалации.
В ноябре 2024 года США и Китай договорились сохранять контроль человека над ядерными решениями и осторожно внедрять ИИ в военной сфере. Но это общая формулировка. Она не объясняет, насколько автономными могут быть киберсистемы и где кончается помощь алгоритма и начинается самостоятельное боевое решение.
Сиссон и Цзян представили пакет рекомендаций 9 сентября: запретить автономные атаки на ядерную инфраструктуру, согласовать понятие человеческого контроля, создать спецканал для ИИ-инцидентов. Официально ни Вашингтон, ни Пекин предложения не приняли.
Соперничество США и Китая выходит за пределы процессоров и языковых моделей. Страны пытаются установить правила для ситуации, когда ошибка автономной системы неотличима от боевой операции. Именно этот риск стал основой новых предложений по безопасности.
Вопрос о границах военного ИИ уже коснулся разработчиков крупнейших моделей. Anthropic отказалась убирать ограничения Claude для автономного оружия, судом это действие признано незаконным.
Одновременно американские спецслужбы ищут задачи, где ИИ помогает без финальной команды от машины. АНБ испытывало модель Anthropic Mythos для поиска уязвимостей в зарубежных сетях.
Граница между помощью алгоритма и самостоятельным применением силы размывается с ростом автономности систем. США и Китай обсуждают не абстрактную безопасность, а конкретный механизм: помешать программе принять ошибку за приказ и помешать противнику принять сбой за начало войны.
