Qu'est-ce que Performer et quelle est l'idée de l'approximation des caractéristiques aléatoires?

Performer — это архитектура трансформера, которая использует метод приближения внимания с помощью случайных признаков (random features approximation) для снижения вычислительной сложности.

Идея в том, чтобы заменить классический механизм внимания, который имеет квадратичную сложность по длине последовательности, на более эффективный, аппроксимирующий внимание через проекции в пространство случайных признаков. Это позволяет вычислять внимание с линейной сложностью, что особенно важно для длинных последовательностей в NLP.

Random features approximation — это метод, при котором ядро внимания аппроксимируется с помощью случайных проекций, что позволяет эффективно вычислять скалярные произведения в новом пространстве без явного построения полной матрицы внимания.