Согласно анализу Epoch AI от 29 мая, открытые модели ИИ отстают от наиболее мощных закрытых решений в среднем на четыре месяца. Вместо ежемесячной подписки стоимостью $20 пользователи могут запускать такие модели локально на своих компьютерах с помощью бесплатных инструментов, таких как Ollama и LM Studio.
Локальный запуск обеспечивает конфиденциальность данных, так как запросы не отправляются на сторонние серверы. LM Studio предлагает графический интерфейс и возможность работы в офлайн-режиме, в то время как Ollama ориентирована на работу через терминал. Оба приложения позволяют загружать модели с платформы Hugging Face.
Требования к оборудованию зависят от размера модели и квантования, которое снижает потребление памяти за счет уменьшения точности весов. Для базовых задач рекомендуется минимум 8 ГБ видеопамяти или объединенной памяти Mac. Для более сложных моделей может потребоваться 24 ГБ видеопамяти или специализированные системы.
Лицензии, такие как Apache 2.0 для Google Gemma 4 и OpenAI gpt-oss или MIT для DeepSeek R1, позволяют использовать и модифицировать модели для коммерческих целей. Это дает возможность адаптировать ИИ под узкоспециализированные задачи, например, в медицине, что невозможно при использовании стандартных облачных чат-ботов.
Крупнейшие модели, например, Alibaba Qwen 3.8-Max с 2,4 триллиона параметров, требуют оборудования, выходящего за рамки потребительского сегмента. При этом методы вроде спекулятивного декодирования позволяют ускорить генерацию текста до 3 раз, что реализовано в модели Gemma 4.
