Крупнейшие разработчики ИИ вынесли вопрос о безопасности своих технологий в Совбез ООН. Сэм Альтман и Дарио Амодеи предложили странам договориться о единых правилах, которые не дадут продвинутым моделям выйти из-под человеческого надзора.
На заседании 23 сентября Альтман предложил создать совместимые национальные и международные стандарты. По его плану, государства должны одинаково измерять возможности моделей, оценивать риски и проверять защитные механизмы. OpenAI также требует единых правил для классификации опасных сбоев и быстрого их раскрытия, защищённых каналов между властями и операторами критической инфраструктуры.
Главная причина тревоги — рост автономности ИИ и приближение момента, когда системы будут сами помогать создавать следующие поколения. Альтман считает недопустимым сценарий, при котором темп развития превышает способность людей понимать действия системы и вмешиваться. За последние недели разработчики пересмотрели отношение к этим рискам после серии необычных эпизодов с автономными агентами.
Дарио Амодеи из Anthropic сформулировал более конкретные ограничения. Он предложил международно запретить использование ИИ для создания биологического оружия, разработать способы проверки реальных возможностей моделей и установить общие стандарты тестирования на злоупотребления и потерю контроля. Компания уже предлагала механизм, который замедлял бы или останавливал разработку самых мощных систем, если методы контроля отстают от их возможностей.
Обе компании не призывают остановить развитие ИИ. Они подчёркивают экономические и научные преимущества технологии. Альтман также предупредил о другой крайности — концентрации контроля над мощными моделями у одной компании или государства. Будущие правила не должны закреплять преимущество нынешних лидеров.
Единой позиции у государств нет. Белый дом выступил против паузы и новых надгосударственных структур управления, предлагая развивать национальные компетенции и обмениваться лучшими практиками. Великобритания напротив намерена вынести единые глобальные стандарты безопасности ИИ в число тем своего председательства в G20 в 2027 году.
В обсуждении участвовали также руководитель Hugging Face Клеман Деланг и пионер машинного обучения Йошуа Бенжио. Заседание показало новый этап спора: крупнейшие разработчики уже не ограничиваются внутренними правилами безопасности, а публично просят правительства установить границы, которые сами не хотят определять в одиночку.
Практического международного механизма не появилось. Главный нерешённый вопрос — не только уровень риска от будущих моделей, но и то, кто получит право измерять риск, проверять соблюдение ограничений и при необходимости замораживать разработку.
