OmniParseBench представляет собой инструмент для оценки систем обработки документов, доступный в версии 1.0.0rc1. Набор данных бенчмарка включает 16 288 тестов, охватывающих PDF-файлы и изображения.
Система оценки использует модульные тесты для проверки структуры документов, текстового содержимого и разметки. Тесты разделены на семейства, включая работу с текстом, таблицами и элементами макета.
Разработчики могут применять инструмент для проверки точности парсеров, сравнивая результаты моделей с эталонными файлами. Поддерживаются различные типы проверок, такие как точное совпадение текста, верификация математических формул и извлечение данных из ячеек таблиц.
Набор данных размещен на платформе Hugging Face и управляется через систему контроля версий по коммитам. Это обеспечивает стабильность бенчмарка при добавлении новых парсеров и позволяет отслеживать изменения в вердиктах при корректировке содержимого документов.
