Популярный мессенджер WhatsApp разрабатывает инновационную функцию Scam Alert, предназначенную для предупреждения пользователей о подозрительных сообщениях. Ключевой особенностью этой технологии является то, что анализ осуществляется непосредственно на мобильном устройстве, без отправки конфиденциальной информации на серверы компании. Система полностью совместима с используемым в приложении сквозным шифрованием.
На текущем этапе новая функция доступна ограниченному числу участников тестирования. При активации Scam Alert на телефон загружается компактная нейросетевая модель. Она проверяет входящие сообщения от незнакомых контактов и выявляет характерные признаки известных мошеннических схем. Для обучения модели разработчики использовали данные о подозрительных сообщениях, которые пользователи ранее добровольно отправляли в систему жалоб мессенджера.
При обнаружении потенциального обмана в чате появляется скрытое предупреждение, которое видит только получатель. Пользователь может выбрать блокировку отправителя, подачу жалобы или продолжение общения. Если система выдала ошибочное предупреждение, можно отметить контакт как надёжный, и проверки этого чата будут приостановлены. Пользователи также имеют возможность отправить разработчикам последние пять полученных сообщений для совершенствования точности системы.
Создатели функции особое внимание уделили защите от несанкционированного сбора информации. Содержимое сообщений автоматически не передаётся ни WhatsApp, ни другим организациям. Для оценки эффективности система анализирует только обезличенные статистические показатели количества предупреждений и действий пользователей. Перед передачей на серверы данные агрегируются и обогащаются математическим шумом, исключающим возможность восстановления действий конкретного человека.
Компания предусмотрела механизм для независимой проверки модели. Каждая версия Scam Alert регистрируется в открытом журнале прозрачности вместе с хеш-суммами файлов. Записи дополнительно подписываются внешним партнёром, что гарантирует невозможность скрытого внесения изменений. Устройство проверяет подпись, контрольные суммы и журнал перед загрузкой модели, отказываясь работать при обнаружении несоответствий.
Эта архитектура предотвращает отправку пользователю модифицированной версии системы. Запросы на загрузку маршрутизируются через анонимизирующий промежуточный сервер, а тестовые группы формируются случайным образом на самом устройстве. Все версии моделей предварительно регистрируются в открытом журнале.
WhatsApp намерена раскрывать параметры нейросетевых моделей для проверки специалистами по информационной безопасности. В приложении будет ведаться журнал проверок, показывающий, какие сообщения анализировались, результаты анализа и используемую версию модели. Компания планирует расширить программу вознаграждений за обнаруженные уязвимости.
В настоящий момент Scam Alert остаётся экспериментальной функцией, использование которой полностью добровольно. Мессенджер проведёт доработку системы по результатам тестирования перед массовым внедрением. Главное преимущество решения заключается в том, что анализ мошеннических действий выполняется на устройстве пользователя, а серверы получают исключительно анонимизированную статистику.
