Разработчик создал собственную визуально-языковую модель (VLM) с 628 млн параметров, объединив языковую модель Baguettotron и визуальный энкодер InternViT-300M-448px-V2.5. Целью проекта стала демонстрация прозрачного и воспроизводимого процесса сборки компактных мультимодальных систем на базе открытых компонентов.
Эксперимент проводился на одной GPU H100 SXM, арендованной через RunPod, а общие затраты составили около $200. Архитектура основана на схеме ViT–MLP–LLM с использованием операции pixel unshuffle для сжатия 1024 визуальных токенов до 256. Для сопряжения пространств признаков применили двухслойный MLP-проектор на 2,7 млн параметров.
Обучение проходило в три этапа. На первом этапе обучался только проектор на 595 тыс. пар «изображение-подпись». На втором этапе размораживалась языковая модель, обучение велось на наборе данных The Cauldron. Третий этап был направлен на развитие навыков рассуждения через R1-Vision-Reasoning-Instructions, однако это привело к галлюцинациям модели.
В процессе разработки автор использовал Claude для настройки проекта и оценки результатов. Модель способна описывать изображения, распознавая объекты и их положение, однако при попытках сложного анализа или детализации она склонна к выдумкам. Код и веса модели опубликованы на GitHub и Hugging Face для свободного изучения.
