Как может выглядеть первый год применения Закона ЕС о прозрачности в области искусственного интеллекта В этом интервью Help Net Security Эдвин Вейдема, полевой технический директор Veeam, отвечает на вопросы о статье 50 Закона ЕС об искусственном интеллекте и о том, что может принести первый год ее применения. Он объясняет, почему исправительные приказы, вероятно, превзойдут количество крупных штрафов, когда ИИ-агент, работающий в очереди за билетами, считается взаимодействующим с человеком, и как службам безопасности следует справляться с имитацией фишинга с использованием клонированных голосов. Он также взвешивает, с чего может начаться первое исполнительное дело, и вопросы, связанные с подотчетностью, которые клиенты продолжают задавать, но пока нет хорошего ответа. Нарушения статьи 50 влекут за собой ущерб до 15 миллионов евро или трех процентов мирового оборота. Какова реалистичная экспозиция в первый год? Ожидаете ли вы денежных штрафов или корректирующих приказов и требований о снятии средств? Как мы видели на примере других правил ЕС, таких как NIS2 и GDPR, реальное правоприменение, включая штрафы, будет зависеть от отдельных стран-членов, причем процедуры различаются в зависимости от страны. Поэтому сложно точно оценить, какие риски и штрафы мы увидим в течение первого года. При этом первый год новых штрафных санкций также часто можно рассматривать как своего рода период «обкатки».
Более чем вероятно, что корректирующие приказы значительно перевесят количество крупных финансовых штрафов, которые мы наблюдаем в этот первый год исполнения. Особенно для тех организаций, которые прилагают искренние усилия для соблюдения требований. Регулирующие органы, скорее всего, будут учитывать пропорциональность, масштаб воздействия, было ли нарушение преднамеренным или небрежным, насколько быстро организация сотрудничала и были ли уже приняты основные меры управления при принятии этих решений. Тем не менее, мы также часто видим один или два крупных штрафа, которые попадают в заголовки газет, чтобы показать, что регулирующие органы серьезно относятся к делу, но если это действительно произойдет, я бы не ожидал, что это произойдет в первый год. Фактически, в первый год больший практический риск вполне может быть операционным, а не финансовым. Для организации приказ быстро приостановить, перемаркировать, изменить или прекратить процесс с поддержкой ИИ может оказаться гораздо более разрушительным, чем получение штрафа. В первый год больший риск, скорее всего, не будет штрафом; ему будет предложено прекратить использование системы, пока вы не докажете ее соответствие требованиям. Агентические системы взаимодействуют с людьми косвенно, через очередь заявок, общий почтовый ящик или портал закупок поставщика. Какие из них считаются прямым взаимодействием с физическим лицом, и приходилось ли вам сообщать клиенту, что его агент пересек черту, о существовании которой он не подозревал? Для Закона ЕС об искусственном интеллекте канал не имеет решающего значения.
Очередь продажи билетов, общий почтовый ящик или портал закупок не означают автоматически прямое взаимодействие с человеком, но могут. Ключевой вопрос заключается в том, общается ли сама система ИИ с физическим лицом или существует посредник-человек, осуществляющий значимый обзор и контроль. В соответствии с самим Законом обязательство прозрачности применяется в тех ситуациях, когда человек взаимодействует с системой ИИ и должен быть проинформирован о том, что он имеет дело с ИИ, если только это не становится очевидным из обстоятельств. Итак, если ИИ готовит ответ, а человек просматривает и отправляет его, это совсем другой профиль риска, чем у агента ИИ, автономно отвечающего клиенту, поставщику или сотруднику. Последнее может начать выглядеть как прямое взаимодействие, даже если оно происходит через систему продажи билетов или портал закупок, а не через окно чат-бота. Таким образом, компаниям необходимо сделать осознанный выбор, чтобы разделить внутренних агентов и агентов, работающих с клиентами, установив для агентов соответствующие барьеры в зависимости от их ролей. И те же самые средства контроля доступа и конфиденциальности должны присутствовать во всей организации, а не только среди агентов. Только тогда вы сможете избежать любого непреднамеренного доступа – это хорошо, если вы скажете агенту: «Не заходите в эту комнату»; вам также нужно поставить замок на дверь.
В конечном счете, Закон об искусственном интеллекте не заботится о том, происходит ли взаимодействие в окне чат-бота или в очереди заявок. Его волнует, эффективно ли человек обращается с машиной. Службы безопасности проводят имитационные упражнения по фишингу и вишингу, иногда клонируя голос руководителя, и это упражнение проваливается, если на материале имеется пометка. Как вы консультировали эти команды и что должна содержать внутренняя документация, чтобы обосновать такую позицию? Подобные мероприятия не освобождаются автоматически от требований прозрачности Закона об искусственном интеллекте, и организациям не следует просто предполагать, что это так. Понятно, что существует нежелание маркировать фишинговые электронные письма, созданные искусственным интеллектом, или клонированные голоса – это не так уж и сложно, если есть большой флаг, объявляющий, что это проверка. Но клонирование голоса руководителя особенно деликатно. Если ИИ используется для того, чтобы реальный человек сказал то, чего он не говорил, это может быстро превратиться в сценарий дипфейка. Цель безопасности не приводит автоматически к исключению, и фраза «работа работает лучше без раскрытия информации» сама по себе не является оправданием соблюдения требований. Таким образом, если организации решают не маркировать элементы этих учений, созданные ИИ, они должны быть в состоянии продемонстрировать, что правовая основа и риск этого решения были тщательно оценены.
В дальнейшем, для получения наилучшей практики в этих упражнениях, я бы посоветовал командам безопасности как можно раньше привлечь свои юридические отделы и отделы соблюдения нормативных требований, чтобы как минимум документировать свои доводы. Я бы также включил информацию о конфиденциальности, отделе кадров и, где это уместно, мнение производственного совета или представителя сотрудников, особенно если в упражнении используется голос, изображение или сходство реального человека. Но в большинстве случаев я бы посоветовал командам рассмотреть альтернативы, такие как вымышленные персонажи, синтетические голоса, не имитирующие реальных сотрудников, предварительное общее уведомление о том, что в симуляциях могут использоваться синтетические носители, и немедленное раскрытие информации после упражнений. Цель состоит в том, чтобы сохранить реализм без нормализации нераскрытого подражания руководителю внутри компании. Документация должна быть в состоянии показать цель учений, объем, какие инструменты искусственного интеллекта использовались, была ли имитация какого-либо реального человека, какое раскрытие было предоставлено и когда, какие персональные данные были обработаны, почему подход был необходим и соразмерен, какие меры защиты были приняты и как сотрудники были допрошены после этого. Обычно я говорю командам безопасности, которым поручено проводить такого рода упражнения: «Цель безопасности не превращает волшебным образом нераскрытый дипфейк в соответствующий требованиям.
И если вам нужно клонировать голос генерального директора, чтобы тест работал, юрист должен быть в комнате, прежде чем кто-нибудь нажмет «Отправить». По состоянию на середину июня только девять из двадцати семи государств-членов назначили как орган по надзору за рынком, так и уведомляющий орган, двенадцать имели частичные назначения, а шесть не назначили ни того, ни другого. Откуда исходит первое действие статьи 50: регулирующий орган, жалоба конкурента, группа потребителей или иск о диффамации в национальном суде? Трудно сказать наверняка, откуда, скорее всего, придет это первое действие по статье 50. Формально первое действие по Статье 50, скорее всего, будет исходить от органа по надзору за рынком, поскольку именно здесь ответственность за обеспечение соблюдения лежит на национальном уровне. Но на практике триггер может прийти откуда-то еще. Если вернуться назад, клевета, вероятно, наименее вероятна на этом раннем этапе. Но иск о клевете возможен, особенно когда синтетическое аудио или видео наносит ущерб чьей-либо репутации, но это, скорее всего, будет параллельный юридический путь, чем первое чистое правоприменительное дело по статье 50. Для тех систем искусственного интеллекта, которые могут влиять на большое количество людей или взаимодействовать с ними, вероятными кандидатами на раннюю задачу могут стать группы потребителей. Но действия регуляторов кажутся наиболее вероятными, даже если некоторые рынки все еще их создают.
Я ожидаю, что первое дело будет инициировано регулирующим органом на бумаге, но вполне возможно, что на самом деле оно будет вызвано жалобой, инициированной группой потребителей, конкурентом, сотрудником, журналистом, организацией гражданского общества или пострадавшим лицом. Какой вопрос продолжают задавать ваши клиенты, на который пока нет хорошего ответа? Я постоянно слышу вопрос: как нам доказать, что сделал агент ИИ, почему он это сделал и кто несет за это ответственность? Это все еще сложный вопрос, на который пока нет хорошего ответа. В кибербезопасности и GRC доказательства имеют значение. Нам нужны журналы, утверждения, идентификационные данные, контроль доступа, хранение и контрольные журналы. Но агентный ИИ может рассуждать, извлекать данные, генерировать контент и предпринимать действия в нескольких системах. Это означает, что управление должно перейти от политических документов к техническому контролю. Мой совет клиентам — относиться к агентам ИИ как к привилегированным цифровым личностям. Предоставьте им владельца, определенную роль, доступ с наименьшими привилегиями, мониторинг, шлюзы утверждения и аварийный выключатель. Организации, которые поймут это правильно, не просто будут более послушными. Они будут более выносливыми. Еще один вопрос, который я постоянно слышу, напрямую связан с использованием ИИ при тестировании безопасности: где заканчивается прозрачность и начинается тестирование безопасности? Службам безопасности необходимо реалистичное моделирование, но Закон об искусственном интеллекте подталкивает организации к раскрытию информации, когда люди взаимодействуют с искусственным интеллектом или подвергаются дипфейкам.
Самое сложное — разработать упражнения, которые остаются реалистичными, не нарушая при этом правовых, этических границ или границ доверия сотрудников. Службы безопасности хотят реализма. Регуляторы хотят прозрачности. Задача состоит в том, чтобы разработать упражнения, удовлетворяющие обе стороны. И есть еще вопросы, на которые нет ответов, например: - Кто в конечном итоге несет ответственность, когда система ИИ причиняет вред: поставщик, разработчик, владелец бизнеса или руководство? - Как мы можем доказать регулирующим органам, клиентам и совету директоров, что наше управление ИИ работает на практике, а не просто задокументировано в политике? - Какую ценность для бизнеса мы готовы потерять, чтобы оставаться совместимыми, прозрачными и проверяемыми при масштабном использовании ИИ? Скачать: Руководство для высокопроизводительной команды
