Что такое BART и в чём идея denoising autoencoder для seq2seq?

BART (Bidirectional and Auto-Regressive Transformers) — это модель трансформера для обработки последовательностей, которая объединяет идеи BERT и GPT. Она использует архитектуру seq2seq с энкодером и декодером, где энкодер читает входной текст двунаправленно, а декодер генерирует выход последовательно.

Идея denoising autoencoder в BART заключается в том, что модель обучается восстанавливать исходный текст из искажённой (зашумлённой) версии. Например, части входа могут быть случайно удалены, перемешаны или заменены. Это заставляет модель учиться понимать контекст и восстанавливать смысл, что улучшает качество генерации и понимания текста.

Таким образом, BART эффективно решает задачи seq2seq, такие как суммаризация, перевод и исправление текста, благодаря обучению на задаче восстановления исходного текста из повреждённого варианта.