Компания NVIDIA представила Kumo Tabular — семейство моделей для работы со структурированными данными. Линейка включает версии Small, Medium и Large с количеством параметров от 28 до 215 миллионов. Модели работают в составе библиотеки structured-data-models (SDM), оптимизированной для обработки данных на GPU.
Проект распространяется по лицензии OpenMDW-1.1, которая разрешает коммерческое использование, а программный код библиотеки SDM открыт по лицензии Apache-2.0. Обучение моделей проводилось на синтетических таблицах, созданных с помощью структурных причинно-следственных моделей. В процессе обучения контекст увеличивался с 1024 до 60 000 строк при 100 столбцах.
Согласно данным NVIDIA, Kumo Tabular занимает первое место в рейтинге TabArena с показателем Elo 1950. На видеокарте RTX 6000 Pro модель работает в 17 раз быстрее, чем LimiX-2. Архитектура использует механизмы внимания по столбцам, строкам и контексту, выдавая вероятности классов или 999 квантилей для задач регрессии.
Библиотека SDM также поддерживает модели TabICLv2, TabFM от Google и KumoRelational, используя единый интерфейс на базе контейнера TableTensor. NVIDIA планирует в ближайшее время опубликовать рецепты обучения и генераторы данных, которые использовались для создания Kumo Tabular.
