Компактные языковые модели оказались эффективнее крупных систем в выборе инструментов

Исследователи из Meta и Университета Карнеги — Меллона представили результаты работы компактных языковых моделей в задачах выбора программных инструментов. В статье Training Small Language Models for Transferable Tool Selection рассматриваются сценарии, где количество доступных инструментов превышает 10 000.

Команда использовала модели Qwen3 объемом от 1,7 до 8 миллиардов параметров, применяя метод Plan-Retrieve-Select. Модели прошли этапы обучения с учителем и обучения с подкреплением по методу GRPO, используя около 21 000 инструкций из бенчмарка ToolBench G3.

Модель Qwen3-8B показала результат 41,5% в бенчмарке ToolBench G3, опередив Llama-4-Maverick от Meta с 402 миллиардами параметров, которая набрала 30,6%. Версии Qwen3 на 4 миллиарда и 1,7 миллиарда параметров также превзошли показатель Llama-4-Maverick, достигнув 40,3% и 37,6% соответственно.

Результаты указывают на возможность снижения затрат на хостинг и ускорения обработки запросов при использовании компактных моделей вместо крупных архитектур Mixture of Experts. Авторы отмечают, что задача выбора инструментов остается сложной, так как даже лучшая модель не достигла большинства правильных ответов.