Исследователи изучили возможность замены системного промпта начальным состоянием в моделях RWKV-7 с числом параметров от 0,4B до 2,9B. Эксперименты проводились на MacBook M4 с 16 ГБ оперативной памяти с использованием фреймворка SwiftRWKV.
Сравнение моделей без промпта, с текстовым промптом и с обученным состоянием показало, что текстовые инструкции могут снижать точность на 3–15 пунктов. Обученное состояние при этом не уступает модели без промпта и часто превосходит её по качеству ответов.
Использование начального состояния ускоряет генерацию первого токена до 13 раз при длинных промптах. Процесс обучения состояния занимает от 5 до 50 минут, требует 1,6–5,4 ГБ памяти, а итоговый файл состояния весит от 6,5 до 22 МБ.
Метод основан на контекстной дистилляции: модель учится выдавать ответы без промпта, копируя поведение учителя. Это помогает в задачах, где модель игнорирует текст, например, в классификации новостей, где точность удалось повысить в несколько раз по сравнению с обычным промптом.
Обученное состояние лучше удерживает заданную роль, но не добавляет новых знаний. Для успеха метода критически важна фильтрация данных от ошибок учителя и использование отсечения градиента, без которого обучение прерывается примерно на 13-м шаге.
