Что такое BigBird и какие виды внимания он сочетает?

BigBird — это архитектура трансформера, разработанная для обработки очень длинных последовательностей, которые традиционные трансформеры не могут эффективно обрабатывать из-за квадратичной сложности внимания.

BigBird сочетает несколько видов внимания:

• Разреженное (sparse) внимание: вместо полного внимания ко всем токенам, внимание ограничивается подмножеством токенов.
• Глобальное внимание: некоторые специальные токены (например, CLS-токен) имеют доступ ко всем другим токенам, что позволяет сохранять глобальную информацию.
• Случайное внимание: для каждого токена выбирается случайный набор других токенов для внимания, что помогает моделировать разнообразные зависимости.
• Скользящее (window) внимание: каждый токен обращает внимание на соседние токены в фиксированном окне, что обеспечивает локальную контекстуальность.

Комбинация этих видов внимания позволяет BigBird эффективно масштабироваться на очень длинные последовательности, сохраняя при этом качество модели и снижая вычислительные затраты с квадратичных до линейных или близких к ним.