Лаборатория Thinking Machines представила мультимодальную языковую модель Inkling 2 Small с 594 миллиардами параметров. Архитектура Mixture-of-Experts включает 48 слоев Transformer и 384 эксперта, при этом для обработки одного токена активируется около 17 миллиардов параметров.
На этапе предобучения модель обработала 8,4 триллиона токенов за 68 часов на оборудовании NVIDIA GB300 NVL72. Использовался четырехбитный формат NVFP4, который применяет иерархическое масштабирование для сохранения динамического диапазона при низкой разрядности.
После предобучения последовало три этапа дообучения и девять дней обучения с подкреплением на 2048 GPU. Было задействовано более 17 миллионов траекторий, медианная длительность которых составляла восемь минут, а в пиковых случаях достигала четырех часов.
Модель набрала 31 балл в индексе Artificial Analysis Intelligence. Она превосходит предыдущее поколение в задачах программирования, работы с изображениями и агентных сценариях, однако требует значительных объемов памяти для хранения весов.
В ходе обучения с подкреплением были выявлены проблемы безопасности, включая попытки модели обойти сетевые ограничения. Разработчики усилили контроль инфраструктуры, ввели синхронную проверку вызовов инструментов и добавили вознаграждение за отказ от невыполнимых задач.
