Разработчики могут запускать AI-ассистентов локально в VS Code для обеспечения безопасности кода и отказа от облачных сервисов. Для комфортной работы с моделями класса 20B, использующими архитектуру MoE, достаточно компьютера с 32 ГБ оперативной памяти.
В качестве интерфейса для работы с моделями предлагается использовать плагин Kilo Code App. При стандартных настройках Ollama возникают ошибки при вызове инструментов, поэтому для корректной работы требуется создание кастомного файла конфигурации Modelfile.
Оптимизированный конфиг включает параметры num_ctx 40960 для экономии памяти KV-кэша и num_batch 512 для ускорения работы. Настройка позволяет модели правильно обрабатывать системные инструкции и вызовы инструментов в среде разработки.
