Разговоры с ChatGPT видят не только алгоритмы. В проекте Project Lily сотни внешних подрядчиков OpenAI анализируют реальные запросы и целые диалоги пользователей. Они оценивают ответы модели и помогают разработчикам менять её поведение. В этих разговорах часто остаётся чувствительная личная информация.
Подрядчики работают с заданиями из настоящих диалогов ChatGPT. Они видят запрос пользователя, контекст беседы, формулируют задачу и оценивают несколько вариантов ответа по шкале от одного до семи, указывая недостатки.
Имена пользователей в интерфейсе рецензента не показываются, но это не делает разговор анонимным. В текстах остаются подробности о работе, здоровье, семье, местоположении. Рецензент также может получить сводку памяти ChatGPT с информацией о прошлых запросах пользователя и его контексте.
Перед передачей подрядчикам OpenAI использует Privacy Filter для поиска и удаления персональных данных: имена, адреса, номера телефонов, почта, номера счетов, пароли. Но компания признаёт, что автоматическая обработка не гарантирует полную очистку. Необычные идентификаторы и двусмысленные личные сведения иногда проходят сквозь фильтр.
Project Lily занимается не только поиском ошибок. Подрядчики учат ChatGPT меньше соглашаться с пользователем ради одобрения, не поддерживать сомнительные выводы без оснований и не казаться живым собеседником. Чрезмерная согласчивость уже создавала проблемы для OpenAI и вынуждала разработчиков менять поведение моделей.
Это отличается от модерации опасного контента. OpenAI отдельно привлекает специалистов для разбора сообщений о возможном насилии, нарушениях правил и других рисках. Project Lily нужен для улучшения обычных ответов, поэтому в очередь попадают повседневные разговоры без признаков нарушений.
Для этой работы OpenAI нанимает внешних исполнителей через посредников Crossing Hurdles и Mercor. Некоторые подрядчики получают более 50 долларов в час. Масштаб показывает, какую роль человеческая разметка продолжает играть в разработке языковых моделей, несмотря на рост автоматизации.
OpenAI официально предупреждает, что ограниченное число сотрудников и доверенных подрядчиков может получать доступ к контенту пользователя для улучшения моделей. Доступ ограничивают внутренними системами, действия журналируются. Компания рекомендует не вводить сведения, которые не хотелось бы передавать другим людям. Это описано в документации по обработке данных.
В ChatGPT Free, Plus и Pro использование разговоров для обучения моделей включено по умолчанию. Отключить его можно в Settings → Data Controls, выбрав Improve the model for everyone. Изменение применяется к новым разговорам. Временные чаты не используются для обучения и удаляются из систем OpenAI через установленное время.
OpenAI не единственная: Anthropic тоже использует человеческую проверку для улучшения своих моделей. Разговор с чат-ботом не стоит воспринимать как полностью закрытый канал. Даже при удалении идентификаторов часть переписки при определённых настройках может увидеть человек.
