Автор протестировал интеграцию локальных моделей Gemma 3 4B и Gemma 2 2B через Ollama с ИИ-помощником Codex на MacBook Pro 16 (2019) с процессором Intel Core i7, 16 ГБ оперативной памяти и графикой Radeon Pro 5300M. Целью было делегирование рутинных задач, таких как анализ логов, локальному исполнителю для экономии облачных лимитов.
Эксперимент показал, что схема не дает экономии токенов. Использование локальной модели в качестве промежуточного звена приводило к двукратному увеличению расхода облачных входных токенов, так как Codex требовалось совершить два прохода: для вызова инструмента и для обработки ответа модели.
В ходе тестов выяснилось, что локальные модели плохо справляются с задачами по безопасности и бизнес-логике, предлагая неверные исправления кода. Кроме того, модель Gemma 3 4B не смогла работать как полноценный локальный агент из-за отсутствия поддержки схем инструментов, которые запрашивает Codex.
Автор пришел к выводу, что маленькие модели подходят только для механической обработки текста. Для реальной экономии лимитов планируется переход на архитектуру local-first, где задача сначала обрабатывается локально, а в облако передается только при необходимости эскалации.
