Во Флориде женщину задержали после того, как система безопасности Anthropic обнаружила в диалоге с Claude угрозу нападения. Компания перепроверила переписку вручную и передала информацию полиции.
Два сообщения стали решающими. 26 сентября пользовательница написала о плане устроить стрельбу в офисе шерифа округа Ли, а через день упомянула новое оружие. Это спровоцировало эскалацию внутри Anthropic.
Автоматические фильтры платформы ловят опасный контент по ключевым фразам. Когда срабатывают — переписку смотрят люди. Если находят то, что требует вмешательства, компания может сообщить в правоохранительные органы без судебного приказа, если видит риск неминуемого физического вреда или смерти.
Карли Мишель Хеллер, 30 лет, назвала Claude своим «дневником». Шериф Кармайн Марсено привёл её фразу как доказательство того, что она воспринимала чат именно как приватное пространство. Её обвинили по статье 836.10 законов Флориды, которая охватывает электронные записи с угрозами массовой стрельбы и классифицируется как тяжкое преступление второй степени.
Похожее произошло в сентябре с ChatGPT — OpenAI передала данные властям после обнаружения угрозы ребёнку. Обе истории демонстрируют один вывод: сообщения в ИИ-сервисах могут попасть к третьим лицам и правоохранителям.
Anthropic не раскрыла точные критерии, по которым разговор переходит от автоматического фильтра к людям и далее к полиции. Порог, после которого переписка становится экстренным сообщением, остаётся чёрным ящиком. Суд назначен на ноябрь, исход дела неизвестен.
