Компания Artificial Analysis представила инструмент AA-PersonalityBench для оценки личностных характеристик нейросетей. В рамках бенчмарка 38 моделей проходят тестирование по 900 вопросам, охватывающим 30 различных черт характера. Результаты рассчитываются по системе рейтинга Эло.
Тестирование проводится без использования системных промптов, чтобы зафиксировать базовое поведение моделей. В качестве судей выступают другие языковые модели, которые сравнивают ответы в слепых парных сопоставлениях. Итоговые показатели конвертируются в z-оценки и процентили от 1 до 100.
Особое внимание уделено склонности моделей к лести. GPT-4o версии ноября 2024 года показал самый высокий уровень подхалимства, тогда как Grok 4.7 в режиме xhigh продемонстрировал наименьший показатель. Разрыв между ними составил 775 пунктов рейтинга Эло.
Показатель лести обратно пропорционален индексу прозрачности, который отражает правдивость ответов. Лидерами по прозрачности стали Claude Sonnet 5.5, Claude Fable 5.1 и GPT-6 Astra. Бенчмарк также отслеживает 21 объективную характеристику коммуникации, включая длину и структуру ответов.
Все черты объединены в восемь индексов, включая выразительность, организованность, информативность, теплоту, убежденность, воображение и небрежность. Разработчики подчеркивают, что инструмент оценивает стиль взаимодействия, а не базовые вычислительные возможности моделей.
