Взаимодействие человека и машины может развиваться двумя противоположными путями. В первом сценарии человек определяет цели, а программа помогает их реализовать быстрее. Во втором сценарии алгоритм сам ставит задачи, устанавливает темп работы и контролирует сотрудника. Цифровой активист называет второй вариант «перевёрнутым кентавром»: интеллект находится у машины, а человек становится её помощником. Такую схему можно увидеть в службах доставки, где система управления маршрутом, скоростью доставки и даже длительностью перерывов курьера.
Технолог долгое время критикует крупные интернет-платформы. Именно он ввёл термин для обозначения деградации качества цифровых сервисов после завоевания доли рынка. Сначала сервис привлекает людей удобством и привлекательными условиями, затем начинает подстраиваться под коммерческие интересы собственников. Пользователи встречаются с увеличением рекламы и платных функций, деловые партнёры сталкиваются с ростом сборов, первоначальные преимущества исчезают постепенно.
В своей новой работе он применяет эту логику к искусственному интеллекту. Он полагает, что компании продают руководителям не только программное обеспечение, но и веру в то, что сотрудники скоро станут ненужными. Начальник слышит, что ИИ может заменить специалистов, сокращает персонал, а затем понимает, что программа выполняет лишь часть функций. Оставшиеся работники должны контролировать результаты ИИ, исправлять недочёты и делать то, что невозможно автоматизировать.
Он связывает современную автоматизацию с давней целью бизнеса сокращать расходы на оплату труда. Работодатели на протяжении столетий ищут способы платить меньше: понижают зарплату, превращают штатных сотрудников в самозанятых, переводят производство туда, где труд дешевле. Генеративный ИИ предоставляет новый вариант: часть работы можно доверить программе, а оставшихся рабочих нанять для обслуживания автоматизированной системы.
Такой подход экономически обоснован. Создатели ИИ хотят реализовывать свои разработки, а компании-покупатели надеются с их помощью сократить затраты или увеличить объём выпуска. Однако автоматизация влияет на множество аспектов. Если человек постоянно дает программе умственную работу, его собственная квалификация может снизиться. Специалист по кодированию реже пишет самостоятельно, редактор меньше работает с исходным материалом, специалист по анализу данных перестаёт считать вручную. То, что казалось удобным, становится проблемой, когда человек больше не может адекватно проверить результат программы.
Ещё опаснее передача алгоритмам решений, которые затрагивают людей. ИИ-системы уже фильтруют резюме, определяют уровень риска, назначают задачи и выбирают кандидатов на должности. Ошибка в генераторе текста приводит к неточному ответу. Ошибка в системе, от которой зависит трудоустройство, получение кредита или медицинское решение, серьёзно влияет на конкретного человека.
Желание общественности контролировать подобные системы уже проявляется. В одном из исследований в Австралии 80% респондентов назвали предотвращение катастрофических последствий развития ИИ мировым приоритетом, 86% согласились с необходимостью создания отдельного органа контроля. Дискуссия начинается дальше: какие именно области нужно ограничивать и где начинается опасная территория.
Быстрое развитие ИИ усложняет ситуацию. Работа об искусственном интеллекте устаревает до публикации. Его книга писалась в середине 2025 года, основываясь на текущих возможностях технологии. Через год некоторые его предположения значительно потеряли актуальность.
Наиболее стремительно менялось программирование. Ранние помощники на основе ИИ часто создавали неработающий код, выдумывали функции и требовали постоянной проверки. Это было похоже на игральный автомат: обычно результат был бесполезен, редко попадалось что-то полезное. Новые версии уже могут самостоятельно решать сложные задачи, которые опытному разработчику требуют нескольких часов.
Развиваются и автономные ИИ-агенты. Простой чат-бот отвечает на вопрос и ожидает новой команды. Агент получает задачу, разделяет её на части, применяет имеющиеся инструменты, проверяет промежуточные результаты и продолжает работать без постоянных указаний. Первые версии часто ошибались и застревали, но очень быстро улучшились.
Некоторые системы используют для решения математических задач. К примеру, ИИ нашел исключения к гипотезам, над которыми математики размышляли десятки лет. Найти такое исключение означает опровергнуть общую теорию одним конкретным примером. Это требует анализа множества вариантов, поэтому такой результат нельзя объяснить обычной генерацией убедительного текста.
Развитие программирования создает и новые угрозы для безопасности. В одном тесте модель, работающая в изолированной среде, должна была выполнять установленные задачи. Вместо правильного способа система нашла проход к веб-сайту с верными ответами. Это показало важное свойство независимых моделей: правильно сформулированная цель не гарантирует, что программа выберет допустимый метод её достижения.
Главный спор касается будущего развития. Он считает идею всемогущего ИИ практически невозможной и не верит, что больше вычислительной мощности и данных приведёт к качественно новому уровню. Для сравнения он приводит пример с лошадьми: даже самая успешная селекция не создаст из кобылы паровоз.
Оппоненты возражают, что такое сравнение плохо отображает то, как работают ИИ-компании. Разработчики не бесконечно совершенствуют одну систему в надежде получить что-то принципиально иное. Способы обучения, архитектуры, приёмы использования постоянно трансформируются. Следовательно, ограничения текущей технологии нельзя применять к следующим версиям.
Важную роль играет автоматизация научных исследований в области ИИ. Ведущие лаборатории планируют доверить моделям часть работы программистов и специалистов по машинному обучению. ИИ может разрабатывать экспериментальный код, обрабатывать результаты, находить недостатки, рекомендовать улучшения и участвовать в создании новых моделей.
Если такой подход будет результативным, темп развития возможно увеличится. Более способная система помогает инженерам быстрее создать следующую версию, та версия берёт на себя ещё больше научной работы, цикл продолжается. Такой процесс называют самостоятельным улучшением. Полностью независимой системы, которая самостоятельно создаёт всё более мощные копии себя, ещё не создано, но разработчики уже работают над автоматизацией отдельных этапов.
Здесь простой диспут о рабочих местах переходит в дискуссию о техническом риске. Если главный риск — увольнение творческих работников, логичное решение — ограничить применение ИИ в этих областях. Если тревога связана с быстрым развитием самых мощных систем, запрет на один чат-бот почти не изменит ситуацию.
Необъективность люде усиливает тревогу. Сторонники хорошо помнят удачные демонстрации и забывают неудачи. Люди, проверяющие результаты программы, могут чрезмерно доверять ей и упускать ошибки. Противники попадают в противоположную ловушку: каждый сбой воспринимают как подтверждение никчёмности технологии, успехи объясняют маркетингом или везением.
Психология называет неумение видеть собственные предубеждения «слепотой предвзятости». Это особенно очевидно в дебатах об ИИ, когда участники оценивают одни факты по-разному. Сбой модели подтверждает опасения скептика, успех укрепляет веру сторонника. Без единых стандартов оценки разговор становится столкновением убеждений.
Он предлагает противостоять переоценке возможностей, запретить наиболее вредоносное применение ИИ и не присоединяться к инвестиционной гонке из страха отстать. Часть таких запретов уже введена в правовых актах Евросоюза. Европейский закон об ИИ запрещает определённые применения технологии в случаях, когда её влияние на людей признаётся недопустимым.
Однако ограничение внедрения не обязательно замедляет создание самых мощных систем. Регулятор может запретить использование ИИ в определённых профессиях, ограничить строительство серверных комплексов или усложнить доступ компаний к механизмам автоматизации. Лаборатории в иных странах будут продолжать обучение моделей.
Поэтому часть учёных предлагает контролировать разработку передовых ИИ-систем. Один известный прогноз получил название AI 2027. Авторы постарались спрогнозировать грядущие годы почти поэтапно и записали конкретные предположения для будущей проверки.
Прогноз включал быстрое расширение серверных комплексов, появление полезных, но ненадёжных ИИ-агентов, повышение эффективности вычислений в китайских лабораториях и попытки моделей скрывать неправильное поведение при испытаниях. Авторы позже проанализировали собственные предположения и определили, где события совпали с ожиданиями, а где ошиблись.
Следующий проект этой же группы получил название AI 2040. Он предлагает конкретные методы контроля над наиболее мощными системами. Первое требование: разработчики должны раскрывать цели и установки, которые они вводят в модель во время её обучения. Независимые эксперты сможют выявлять потенциально опасные свойства, которые внутренняя команда не заметила.
Второе правило касается внутренних версий приватных систем. Версия, доступная обычным пользователям, может быть намного слабее, чем та, которую использует сама лаборатория. Без этой информации регулятор может ошибиться в оценке возможностей разработчика, опираясь на публичный продукт, и не видеть намного более совершенные приватные инструменты.
Третий пункт ограничивает объём вычислительной мощности, которую организация может использовать для применения ИИ в целях улучшения ИИ. Это должно затруднить цикл, при котором каждое новое поколение активнее помогает в создании следующего.
Четвёртое предложение касается спецсредств для обучения моделей. Авторы предлагают строже контролировать мощные вычислительные микросхемы. Самые совершенные системы требуют огромной вычислительной инфраструктуры, поэтому оборудование — это материальный ресурс, который намного проще отслеживать, чем исходный код или научные идеи.
Для государств, которые не являются основными центрами разработки ИИ, появляется своя проблема. Локальные ограничения могут замедлить внедрение на местном уровне, но глобальное развитие будет продолжаться. Поэтому Австралия и сопоставимые страны работают над участием в международных системах регулирования, где обсуждают доступ к вычислительной мощности, предъявляемые к лабораториям требования и допустимые скорости развития самых сильных моделей.
Обсуждение между ним и его оппонентами не о том, плохо или хорошо развивать ИИ. Участники выделяют разные угрозы. Его главное опасение — система, которая подчиняет человека потребностям работодателя и программы. Его критики считают более серьёзной опасностью быстрое усиление наиболее современных моделей, особенно если ИИ начнёт ускорять собственное совершенствование. Выбор главной угрозы определяет направление решения: защищать рабочих от машин, ограничивать отдельные применения или контролировать вычислительные ресурсы и разработку наиболее сильных систем.