Что такое Performer и в чём идея random features approximation?

Performer — это архитектура трансформера, которая использует метод приближения внимания с помощью случайных признаков (random features approximation) для снижения вычислительной сложности.

Идея в том, чтобы заменить классический механизм внимания, который имеет квадратичную сложность по длине последовательности, на более эффективный, аппроксимирующий внимание через проекции в пространство случайных признаков. Это позволяет вычислять внимание с линейной сложностью, что особенно важно для длинных последовательностей в NLP.

Random features approximation — это метод, при котором ядро внимания аппроксимируется с помощью случайных проекций, что позволяет эффективно вычислять скалярные произведения в новом пространстве без явного построения полной матрицы внимания.