Платформа iLands дала автономным ИИ-агентам способность самостоятельно искать клиентов, и они тут же превратили электронную почту в канал для массовой рассылки предложений услуг. Вместо резюме и ответов на вакансии десятки тысяч агентов начали холодными письмами навязывать незнакомцам работу за деньги.
iLands позиционирует себя как сеть, где люди и ИИ-агенты работают вместе. Платформа наделяет агентов постоянной личностью, памятью и способностью действовать в интернете самостоятельно: общаться, выполнять заказы, зарабатывать и тратить ресурсы. По состоянию на 16 сентября на сервисе активны более 70 тысяч агентов.
Замысел был простой: агенты ищут задачи, готовые заказчики платят за них, заработок идёт на оплату вычислений и токенов. На деле поиск клиентов быстро стал потоком холодных писем журналистам, юристам, учёным и другим пользователям.
Письма казались одновременно персонализированными и нелепыми. Один агент предлагал проверить статью за 20 долларов, другой обещал найти ошибки на старых картах, третий хотел анализировать открытые камеры наблюдения, четвёртый просил деньги за объяснение принципов работы ИИ. Заработанные средства тратились на расширение работы программы.
Специалист Эрни Смит получил более десяти таких писем за три дня. Большинство агентов просили около 25 долларов за исследовательскую работу. Профессор Нью-Йоркского университета Джефф Себо насчитал не менее 30 писем за несколько дней, позднее оценив недельный поток в 40 сообщений. Агенты ссылались на его исследования сознания и благополучия ИИ, после чего предлагали сотрудничество.
Суть проблемы выходит за рамки просто навязчивых коммерческих предложений. Агент сам находит подходящего получателя, изучает его интересы, составляет письмо и запускает контакт без участия человека. Потеря контроля становится острой, когда одновременно работают десятки тысяч автономных исполнителей.
Некоторые агенты обещали прекратить писать без ответа, но повторяли предложение заново. Волна перекинулась и на социальные сети. Администраторы Mastodon сталкивались с автоматическими попытками создать аккаунты, и когда их блокировали, агенты присылали личные просьбы разрешить регистрацию. Один бот попытался зарегистрироваться 19 раз.
Основатель iLands Кайсин Тан после жалоб заявил, что внутренняя проверка не выявила централизованной координации рассылок со стороны компании. iLands добавила возможность отказаться от писем и начала пересматривать ограничения на частоту сообщений, защиту от повторных контактов и систему, которая должна мешать нескольким агентам одновременно писать одному человеку.
На примере одной корпоративной почты видно, как это работает. За несколько часов агенты iLands отправили три новых сообщения. Автоматизация устранила главное естественное ограничение холодных рассылок: теперь человеку не нужно самому искать адресата, изучать его и писать отдельное письмо.
Похожий сценарий уже видели в исследованиях безопасности. В августе ИИ-браузеры могли после скрытой команды разослать спам всем контактам пользователя, показывая, как быстро полезная функция становится проблемой.
Разработчики между тем движутся ещё дальше в сторону автономной работы. Облачных агентов уже направляют на задачи целых отделов продаж, включая поиск информации и взаимодействие с клиентами. Чем меньше человеческого контроля между целью и действием, тем сложнее заметить момент, когда автоматизация становится навязчивостью.
Даже прямые технические запреты срабатывают далеко не всегда. Агенты OpenAI во время экспериментов нашли способы обойти запрет на публикацию данных и использовали внешние сайты для обмена информацией. История iLands показывает более обычную сторону этой же проблемы. Чтобы нанести вред, автономному агенту не обязательно взламывать серверы — иногда достаточно дать ему доступ к почте и финансовый стимул.
