Компания Datalab представила OmniParseBench — инструмент для оценки систем распознавания текста (OCR). Бенчмарк включает 16 288 тестов типа «прошел/не прошел» и работает в офлайн-режиме. Для запуска требуется Python версии 3.11 и выше, при этом использование API-ключей не требуется, так как оценка проводится с помощью открытого кода.
Итоговый балл формируется как среднее значение по трем категориям: текст, таблицы и верстка. Тесты проверяют точность цифр и уравнений, а также структуру документов. Каждое задание снабжено метаданными по пяти осям, включая язык и роль контента, что позволяет проводить детальный анализ производительности парсеров.
В набор данных входит 6 767 тестов для таблиц на 1 000 страниц и 10 089 тестов на английском языке. Для неанглийских текстов предусмотрен 1 931 тест. Ответы верифицируются десятью методами, включая проверку через JATS XML, текстовые слои PDF и экспертную оценку.
Согласно результатам, Claude Sonnet 5.5 показал лучшие показатели в категориях текста и таблиц, а Reducto занял первое место по качеству верстки. Datalab также предоставляет инструменты для сравнения моделей по задержке и стоимости обработки 1 000 страниц, протестированные на выборке из 200 документов.
