Что хотят услышать интервьюеры:

Speculative decoding — это способ ускорить генерацию текста, при котором небольшая быстрая модель предлагает несколько следующих токенов, а большая точная модель затем быстро проверяет и подтверждает их. Если часть токенов подходит, они принимаются сразу, и большая модель делает меньше дорогостоящих шагов. В итоге качество остается близким к основной модели, а скорость генерации растет.

Определение:

Speculative decoding — это алгоритм ускорения автодополнения в LLM, где используется пара моделей: draft-модель и target-модель. Draft-модель дешево и быстро генерирует кандидатов на несколько шагов вперед, а target-модель проверяет их вероятности и либо принимает, либо отклоняет. За счет того, что дорогая модель вызывается не на каждый токен в одиночку, уменьшается общее число вычислений и задержка.

Пример использования:

Например, при генерации ответа в чат-боте маленькая модель может предложить сразу 4–8 следующих токенов, а большая модель проверит этот блок за один проход.

# Упрощенная схема, без привязки к конкретной библиотеке

draft_tokens = draft_model.generate(prompt, max_new_tokens=8)

accepted = []
for token in draft_tokens:
    p = target_model.probability(prompt + accepted, token)
    if token_is_acceptable(p):
        accepted.append(token)
    else:
        break  # дальше пересчитываем уже по target-модели

response = accepted + target_model.generate(prompt + accepted)

Пояснение кода:

Код показывает идею на высоком уровне, а не точную реализацию алгоритма.

draft_model.generate(...) быстро строит несколько кандидатов вперед.
target_model.probability(...) оценивает, насколько каждый кандидат согласуется с более точной моделью.
Если токен проходит проверку, он сразу принимается в результат.
Если кандидат не подходит, генерация продолжается уже напрямую через target-модель с текущего контекста.
Так дорогая модель тратит меньше шагов на те токены, которые и так были предсказаны достаточно уверенно.

Ключевые моменты:

Ускорение достигается за счет того, что большая модель проверяет сразу несколько токенов, а не генерирует каждый по отдельности.
Качество обычно близко к target-модели, потому что окончательное решение остается за ней.
Чем лучше draft-модель согласуется с target-моделью, тем выше выигрыш по скорости.
На практике метод особенно полезен для LLM-инференса, где latency и стоимость вычислений критичны.
Это не способ улучшить саму модель, а способ эффективнее использовать уже обученную модель во время генерации.

Что такое speculative decoding и как он ускоряет генерацию?