Компания Nums AI представила Causilo — базовую модель для работы с табличными данными, использующую обучение в контексте. Модель сохраняет обучающие строки как контекст и выполняет предсказания за один проход, не обновляя веса. Обучение проводилось только на синтетических данных.
Архитектура модели включает этапы уточнения, сжатия и обучения в контексте. Признаки обрабатываются группами по три с применением кросс-внимания, что обеспечивает линейную зависимость затрат от количества признаков. Каждая строка сжимается в 512-мерный вектор.
В бенчмарке TabArena модель Causilo получила рейтинг Elo 1794, опередив TabFM, EXAONE Tabular и TabPFN-3. Также модель заняла первое место в ScoringBench по метрикам CRPS, R-квадрат и RMSE по результатам тестов на 101 наборе данных.
Инструмент доступен для исследований на CPU и CUDA. Для работы требуются Python версии 3.10–3.12 и PyTorch 2.13 или новее. Коммерческое использование и доступ к API требуют получения отдельной лицензии от Nums AI.
