Что такое FT-Transformer и SAINT для табличек?

FT-Transformer и SAINT — это архитектуры нейронных сетей, специально разработанные для работы с табличными данными.

• FT-Transformer (Feature Tokenizer Transformer) — использует идею трансформеров из NLP, но адаптирует её для табличных данных. Каждая фича (признак) представляется как токен, который затем обрабатывается через слои внимания (self-attention). Это позволяет модели учитывать взаимосвязи между признаками и эффективно работать с категориальными и числовыми данными.

• SAINT (Self-Attention and Intersample Attention Transformer) — расширяет идею FT-Transformer, добавляя не только внимание между признаками внутри одного примера, но и внимание между разными примерами (intersample attention). Это помогает модели лучше улавливать паттерны и зависимости в данных, улучшая качество предсказаний.

Обе модели конкурируют с традиционными методами, такими как градиентный бустинг (например, XGBoost), и часто показывают хорошие результаты на сложных табличных задачах, особенно когда данные имеют сложные взаимосвязи и много категориальных признаков.