Компания OpenAI представила LifeVal — новый бенчмарк для оценки способности ИИ-моделей помогать пользователям в повседневных делах. Цель разработки заключается в адаптации ИИ к практическим нуждам людей.
При создании LifeVal компания опиралась на данные опросов об использовании времени в США и других странах, а также на результаты анкетирования 3 995 респондентов. Участники исследования указали сферы, где им больше всего нужна помощь ИИ.
Бенчмарк охватывает такие области, как уход за близкими, образование, ведение домашнего хозяйства, личные финансы и взаимодействие с госорганами. Задачи включают подбор детских садов, составление планов питания при диабете и координацию волонтеров.
В отличие от классических тестов, LifeVal оценивает способность модели доводить задачу до исполнения. ИИ должен учитывать индивидуальные ограничения, такие как бюджет, местоположение и личные предпочтения, а не просто предоставлять общую информацию.
OpenAI использует LifeVal в течение последнего года для улучшения своих моделей. Согласно внутренним данным, точность выполнения задач по поиску детского сада составила 93,1%, организации волонтеров — 98,0%, а составлению диеты — 90,4%.
На текущий момент LifeVal остается внутренним инструментом OpenAI. Полный набор задач, методика оценки и данные для независимой проверки пока не опубликованы, поэтому результаты компании требуют дополнительного анализа.
