Исследователи проанализировали девять открытых языковых моделей семейств Apertus, DeepSeek, Gemma, Llama, Mistral и Qwen. Для сравнения использовали реальные сообщения пользователей с платформ X, Bluesky и Reddit. Специально для оценки сходства текста с человеческим была разработана система CHAT, учитывающая семантику, стиль, лексику и эмоциональную окраску.
Алгоритмы машинного обучения распознавали сгенерированные ответы с точностью 70–80% даже после калибровки моделей. Настройка помогала имитировать формальные параметры, такие как длина предложений, но не позволяла достоверно передать эмоции. Именно тональность и эмоциональные реакции оказались наиболее устойчивыми признаками, выдающими искусственное происхождение текста.
Увеличение размера модели не решило проблему: Llama 3.1 с 70 млрд параметров не показала преимуществ перед меньшими аналогами. Модели без специальной настройки на выполнение инструкций имитировали речь лучше, чем специализированные версии. Качество имитации зависело от платформы: проще всего моделям давался стиль X, сложнее всего — Reddit.
Выявлен компромисс между естественностью и точностью смысла. Методы, снижающие вероятность обнаружения ИИ-текста классификаторами, одновременно ухудшали семантическое сходство с оригиналами. Свободные параметры генерации также снижали выявляемость, но ценой потери смысла. Результаты важны для социальных наук, использующих ИИ для моделирования поведения людей.
