Компания Hugging Face представила Carbon-X — открытую языковую модель с 14 миллиардами параметров, предназначенную для анализа ДНК. Модель базируется на архитектуре Qwen3-14B и использует гибридный токенизатор, который объединяет стандартный словарь BPE с 5 515 специализированными токенами для ДНК. Такая структура позволяет обрабатывать текст и генетические последовательности в рамках одного декодера.
Технически модель состоит из 40 слоев с размером скрытого состояния 5120 и использует механизм внимания GQA с 8 KV-головами. Разработчики отмечают, что сбалансировали обучение на данных ДНК и английском языке за счет подбора скорости обучения. В тестах Carbon-X показала результат на 27 пунктов выше базовой Qwen3-14B и достигла точности 79,3% в бенчмарке IFEval.
Стоимость использования Carbon-X на оборудовании H200 составляет $5 в час. По оценкам Hugging Face, анализ 2,4 миллиона вариантов ClinVar обойдется примерно в $300, что значительно дешевле аналогичных задач на других моделях, где стоимость варьируется от $32 000 до $4 миллионов. Модель также может работать как субагент, повышая эффективность других систем, например Kimi K3.
