Стартап Mostik представил метод обмена внутренними состояниями между нейросетями без генерации промежуточного текста. Разработчики используют адаптируемый модуль-«мост», который преобразует данные одной модели в понятную для другой форму. Параметры самих нейросетей при этом не корректируются.
В ходе тестов команда связала модель GLM-5.2 от Z.ai на 753 млрд параметров и Qwen-3.5 от Alibaba на 4 млрд параметров. Большая модель обрабатывала запрос, а генерацию текста выполняла меньшая. По расчетам Mostik, такая связка потребовала в 2,5 раза меньше вычислений, чем модель среднего размера с аналогичным результатом.
Метод позволил сократить разрыв в качестве между большой и малой моделями примерно наполовину. При одинаковом объеме вычислений преимущество перед текстовой передачей данных составило 10 процентных пунктов. Команда также применила технологию в наборе задач ARC-AGI-3, где система показала высокие результаты, которые пока остаются предварительными.
Главный научный сотрудник Mostik Станислав Смирнов отметил, что нейросети по-разному кодируют информацию, поэтому их внутренние состояния нельзя сопоставить напрямую. Тем не менее, подход позволяет объединять возможности универсальных и специализированных моделей без необходимости дообучения систем на новых массивах данных.