Обновленная версия бенчмарка LAB-AA 1.1 теперь включает проверку на галлюцинации. Система оценивает, подтверждаются ли выводы ИИ-моделей исходными юридическими документами, на которые они ссылаются.
Бенчмарк управляется компанией Artificial Analysis и использует закрытый набор из 120 задач. Использование непубличных данных исключает возможность подстройки моделей под конкретные вопросы и повышает объективность рейтинга.
По состоянию на октябрь 2026 года лидеры рейтинга показывают прохождение критериев на уровне 93–95%, однако показатель полного прохождения всех требований задачи остается ниже 30%.
Оригинальный бенчмарк LAB был открыт компанией Harvey 6 мая 2026 года и содержит более 1200 задач. 18 сентября 2026 года компания выпустила обновление lab-core 1.1.0, внедрив оценку двумя моделями — Claude Sonnet 4.6 и GPT-5.5.
Согласно данным Harvey, уровень галлюцинаций в продукте Harvey Assistant составляет 0,2%, тогда как для базовых моделей этот показатель варьируется от 0,7% до 1,9%.
