Директор по политике Hugging Face Айрин Солайман заявила, что текущие методы оценки ИИ-моделей недостаточно стандартизированы. По ее словам, для обеспечения достоверности результатов индустрии необходимо добиться воспроизводимости тестов, что требует открытого доступа к весам моделей.
В отрасли обсуждается концепция встроенных оценщиков — сторонних наблюдателей, работающих внутри ИИ-лабораторий. Солайман отметила отсутствие единых критериев квалификации для таких специалистов, что ставит под сомнение эффективность и нейтральность подобных проверок.
Фокус тестирования смещается с отдельных моделей на комплексные системы, включающие инструменты доступа и агентов. Солайман подчеркнула, что производительность модели сильно зависит от используемой обвязки: менее мощная модель с лучшим интерфейсом может работать эффективнее передовых разработок.
Разработка методологий для оценки ИИ-агентов требует значительных затрат и усилий. Солайман считает, что текущая ситуация на рынке оценки напоминает хаос, и для дальнейшего использования бенчмарков компаниям необходим единый отраслевой подход.
