Малые языковые модели (SLM) содержат от нескольких миллионов до 10 миллиардов параметров. К ним относятся Qwen3.5-0.8B от Alibaba, модели Gemma от Google DeepMind (2–9 млрд параметров) и Gemini Nano (1,8–3,25 млрд параметров). NVIDIA относит к SLM любые модели, запускаемые на потребительских ПК.
По данным Hugging Face, на модели с более чем 100 млрд параметров приходится 1% загрузок, а на модели до 1 млрд — 83%. Колледж Джона Эббота использует связку моделей Llama3.2-3B, Qwen2.5-7B и Neural-Chat 7B на серверах с macOS для проверки лабораторных работ студентов.
Метод LoRA позволяет дообучать нейросети с минимальными затратами — в отдельных случаях до 8 USD. NVIDIA применила этот подход для Llama 3 8B Instruct, повысив точность оценки кода на 18% по сравнению с более крупными моделями Llama 3 70B и Nemotron 4 340B Instruct при снижении задержки.
Исследование Университета имени Лоранда Этвеша показало, что модели (0,5–8 млрд параметров) сокращают число нарушений PEP-8 в коде на 65–86%. Компания Capital One внедрила локальную Gemma 4 E4B на видеокарте RTX 5080, что снизило расходы в 390 раз, а задержку — в 3,8 раза.
Спекулятивное декодирование, используемое в Google AI Overviews, задействует малые модели для предсказания токенов. При этом исследование 2025 года выявило, что модели до 4 млрд параметров показывают точность 0,57 в медицине, тогда как модели от 4 млрд параметров достигают 0,77.
