Новое исследование показало, что большие языковые модели демонстрируют склонность к выбору собственных ответов в 58% случаев при парном сравнении. Эта тенденция, называемая эгоцентрическим искажением, характерна для систем OpenAI, Anthropic и Google.
По оценкам исследователей, от 40% до 96% случаев самопредпочтения могут объясняться объективным качеством ответов. Модели с более низким показателем перплексии чаще показывают высокие результаты и сильнее склонны выбирать свои варианты. При этом ИИ-судьи крайне редко объявляют ничью, даже если разница в качестве ответов незначительна.
Эффект самопредпочтения усиливается по мере роста возможностей модели, что создает конфликт интересов при использовании ИИ для оценки других систем. Критики отмечают, что асимметрия данных и особенности обучения могут давать преимущество разработчикам, чьи модели выступают в роли судей.
В 2025 и 2026 годах исследователи планируют разработать методы для отделения объективного качества от предвзятости. Среди возможных решений — использование групп из нескольких моделей вместо одного судьи, а также применение статистических корректировок для устранения искажений в автоматизированных системах оценки.
