Эксперимент по дообучению модели lumi-mini, основанной на Gemma 4 E2B, проводился на MacBook с чипом M5 Pro и 48 ГБ оперативной памяти. Автор использовал библиотеку mlx-lm версии 0.32 и 4-битную квантованную версию модели. Исходный результат тестирования на наборе из 23 вопросов составил 6 правильных ответов.
Первая попытка дообучения с использованием LoRA (ранг 8, 16 слоев, learning rate 5e-5, 75 шагов) привела к снижению результата до 4 из 23. Модель столкнулась с эффектом катастрофического забывания, начав копировать стиль ответов из обучающей выборки в ущерб фактическим знаниям.
Вторая попытка включала снижение learning rate до 1e-5, использование 8 слоев и добавление 117 примеров ответов исходной модели для предотвращения забывания. Итоговый результат составил 6 из 23. Модель освоила формат ответов, но не приобрела новых знаний.
Интеграция дообученной модели в лаунчер Lumi через Ollama оказалась невозможной из-за отсутствия поддержки LoRA-адаптеров и ошибок при слиянии 4-битных весов. В результате автор принял решение оставить в проекте стандартную версию lumi-mini, отказавшись от дообучения.
