Как реализуется KV-кэш в инференсе авторегрессивного трансформера?

Компании, где спрашивали

VK Cloud

Домклик

Тинькофф