Что такое EAGLE speculative sampling?

EAGLE speculative sampling — это метод оптимизации генерации текста в больших языковых моделях (LLM), направленный на ускорение вывода без значительной потери качества. Идея заключается в том, что модель сначала делает несколько предположений (спекулятивных сэмплов) о следующих токенах, а затем проверяет их корректность с помощью более точного, но медленного декодера. Если предположения верны, они принимаются сразу, что сокращает время генерации.

Такой подход позволяет эффективно балансировать между скоростью и точностью, используя быстрые, но менее точные предсказания для предварительного выбора кандидатов, а затем подтверждая их более надежным механизмом. Это особенно полезно при работе с очень большими моделями, где полное вычисление каждого шага может быть дорогим по времени.

Примерно это можно представить так:

# Псевдокод EAGLE speculative sampling
fast_decoder = FastModel()
slow_decoder = AccurateModel()

speculative_tokens = fast_decoder.predict_next_tokens(context)
verified_tokens = slow_decoder.verify_tokens(context, speculative_tokens)

output = verified_tokens

Таким образом, EAGLE speculative sampling ускоряет генерацию текста, снижая вычислительные затраты без существенного ухудшения качества.