Исследователи из Университета Цинхуа представили технологию Cache-to-Cache (C2C), позволяющую нейросетям обмениваться данными напрямую, минуя генерацию текста. Метод предполагает передачу содержимого оперативной памяти одной модели в память другой, что исключает затраты вычислительных ресурсов на преобразование результатов в текстовые сообщения.
За адаптацию данных между моделями с разной архитектурой отвечает вспомогательная программа Fuser. Интеллектуальный фильтр C2C определяет, какие фрагменты информации необходимо усвоить немедленно, в то время как остальные слои нейросети продолжают автономные вычисления. Это позволяет избежать потерь данных и сбоев при обмене.
Разработчики сообщают, что использование C2C повышает скорость выполнения совместных задач на 100–150 процентов. Точность работы при таком подходе возрастает на 14,2 процента по сравнению с автономным режимом и на 3,1–5,4 процента по сравнению с обменом данными в текстовом формате.
На текущий момент метод применим только к моделям с открытыми весами, так как для работы требуется прямой доступ к кешу и структуре слоёв. Исходный код решения уже доступен для разработчиков.
