OpenAI привлекает сотни подрядчиков для ручной проверки логов ChatGPT в рамках проекта под кодовым названием Project Lily. Специалисты, называемые «промпт-рецензентами», оценивают качество ответов нейросети, следуя инструкциям по исключению из текста специфических оборотов, поучительного тона и антропоморфизмов.
Оплата труда рецензентов превышает $50 в час. В ходе работы сотрудники анализируют анонимизированные диалоги, чтобы улучшить работу модели. По словам участников проекта, внутренние инструкции часто меняются и могут содержать противоречивые требования.
Несмотря на анонимизацию, OpenAI признает, что в логах может сохраняться личная информация, особенно в коротких чатах. Рецензентам также предоставляются сводки пользовательских воспоминаний, содержащие контекст, интересы и данные о местоположении пользователей.
Project Lily не занимается проверкой фактической точности ответов или вопросами безопасности — эти задачи выполняют другие подразделения. Пользователи могут отключить использование своих данных для обучения моделей, однако эта настройка не распространяется на уже сохраненные в базе диалоги.
Практика привлечения людей для анализа чатов распространена в индустрии. Google Gemini и Anthropic открыто сообщают в своих политиках конфиденциальности о возможности просмотра диалогов сотрудниками, в то время как позиция Perplexity по этому вопросу остается неясной.
