Компания OpenAI представила MentalHealthBench — открытый бенчмарк для оценки работы ИИ в сфере психологической поддержки. Набор данных включает 1215 синтетических диалогов, охватывающих темы от повседневных обсуждений до экстренных ситуаций. В разработке участвовали более 80 лицензированных психологов и психиатров из 22 стран.
База содержит 5262 критерия оценки на 19 языках. Диалоги распределены по уровням риска: 53,5% составляют некритические обращения, 18,2% — ситуации высокого риска, 28,3% — экстренные случаи. В выборке представлены взрослые (68,1%), подростки (21,2%), врачи (5,8%) и опекуны (4,9%).
Тестирование показало следующие результаты: GPT-6 Astra набрала 57,3%, GPT-6 Sol — 53,9%, Claude Opus 5.5 — 52,4%. Модели GPT-4o и Gemini 2.5 Pro получили 32,1% и 29,5% соответственно. Оценка проводилась автоматизированным инструментом на базе GPT-5.6 Sol с учетом 10 поведенческих параметров.
OpenAI позиционирует проект как диагностический инструмент для аудита, а не как рейтинг моделей. Компания подчеркивает, что ChatGPT не заменяет профессиональную медицинскую помощь. Чтобы избежать загрязнения обучающих выборок, исследователям запрещено публиковать примеры из датасета в открытом доступе в виде текста или изображений.
