Спекулятивное декодирование ускоряет генерацию текста за счет использования черновой модели, которая предлагает варианты токенов, проверяемые основной моделью за один проход. Метод EAGLE-3 заявляет об ускорении до 6,5 раза, однако независимые тесты показывают, что реальный результат зависит от стенда, а не только от алгоритма.
В ходе экспериментов на базе Kaggle T4 с моделями Qwen3-1,7B ускорение составило 2,6 раза на задачах по программированию и 1,95 раза на диалогах. При использовании запросов, не соответствующих обучающей выборке черновой модели, выигрыш в скорости отсутствовал или становился отрицательным из-за накладных расходов.
Исследование показало, что глубина дерева черновиков критически влияет на эффективность. Увеличение глубины до 10 уровней снизило ускорение до 1,82 раза по сравнению с 2,29 раза при глубине 2. Каждый дополнительный уровень требует последовательного прохода черновой модели, что не окупается приростом длины принятия токенов.
Результаты сильно зависят от размера батча: при batch = 64 выигрыш спекуляции практически исчезает. Также выяснилось, что эффективность метода напрямую связана с тем, насколько данные запроса соответствуют домену, на котором обучалась черновая голова. Вне этого домена метод превращается в дополнительные вычислительные затраты.
Автор подчеркивает, что цифры ускорения «в N раз» требуют уточнения условий: базового варианта, размера батча, стека и формы дерева. Для проверки метода на других конфигурациях подготовлен ноутбук с кодом, позволяющий оценить производительность спекулятивного декодирования в конкретных условиях.
