Исследователи ИИ-центра «Т-Банка» представили два метода обучения моделей, позволяющих компаниям снизить затраты при работе на собственной инфраструктуре. Первый метод заменяет множество узкоспециализированных языковых моделей одной универсальной. На базе Qwen3-32B банк создал модель, объединившую более 200 внутренних сервисов, которая ежемесячно обрабатывает половину трафика платформы.
Новая модель снижает стоимость обработки запросов в 2,8–3,9 раза по сравнению с Qwen3-235B, а в отдельных сервисах — в 4–9 раз. В тестах на корпоративные запросы она набрала 69,6 балла, превзойдя более крупные аналоги. Обучение включает использование метода с подкреплением GRPO и объединение весов через SLERP. Методика позволяет дообучать открытые LLM под специфические агентские задачи.
Второй метод оптимизирует работу визуально-языковых моделей с документами. Модель на базе Qwen3.5-35B-A3B-Base использует 35 млрд параметров, но задействует лишь 3 млрд при запросе, а для дообучения достаточно одного GPU Nvidia H100. Это сокращает расходы на обработку документов более чем на 80% по сравнению с ручным трудом и более чем на 50% относительно лучших открытых решений.
Для реализации методов разработаны пайплайн подготовки данных Difficulty-Aware Data Curation и модель расчета экономической эффективности, определяющая целесообразность автоматизации. «Т-Банк» выложил в открытый доступ методику создания тестов на основе корпоративных запросов, описание подхода к постобучению и модель с открытыми весами, обученную без использования внутренних данных компании.
