Компания Mistral AI представила семейство моделей Timestral для прогнозирования временных рядов. Архитектура основана на патч-трансформере с механизмами временного и вариативного внимания. Каждый патч охватывает 32 шага, а за один проход модель способна прогнозировать до 1024 шагов.
Флагманская версия на 209 миллионов параметров включает 24 слоя и размерность эмбеддинга 768. Модель вычисляет 21 квантиль для каждого шага и поддерживает многомерные цели. В линейку также входят версии на 5, 28 и 123 миллиона параметров, оптимизированные для работы с низкой задержкой.
Тесты на серверном процессоре с 8 потоками показали, что модель на 5 миллионов параметров выполняет прогноз за 10 мс, а версия на 209 миллионов — за 140 мс. Модель на 28 миллионов параметров превосходит Chronos-2 в тестах GIFT-Eval и TIME, будучи при этом в 4 раза меньше.
Версия Timestral 1.0 209M доступна в режиме публичного превью. Доступна дообучение на собственных данных через Mistral Forge с возможностью развертывания в закрытых контурах или VPC. Для работы требуются Python 3.10 и PyTorch 2.4.
