Компания Aleph Alpha из Гейдельберга представила Kolibri — нейросетевую модель с открытыми весами и 78,1 миллиарда параметров. Архитектура Mixture-of-Experts предполагает использование около 3,46 миллиарда активных параметров на токен. Разработка ориентирована на регулируемые отрасли, включая госсектор, промышленность, аэрокосмическую сферу и оборону.
Ключевой особенностью модели стало окно контекста, поддерживающее до 1 048 576 токенов. В процессе обучения, охватившем от 20 до 24 триллионов токенов, особое внимание уделили немецкому языку. Система оптимизирована для работы на английском и немецком языках.
Обучение проходило на мощностях в Германии и Финляндии с использованием 768 графических процессоров NVIDIA B200. Разработчик опубликовал технический отчет на 189 страницах с описанием архитектуры и методов обучения. По данным Aleph Alpha, модель набрала 96,9% в математическом тесте AIME 2025.
