Что такое ELECTRA и replaced token detection?

ELECTRA — это метод предобучения языковых моделей, который отличается от традиционного masked language modeling (MLM), используемого в BERT. Вместо того, чтобы просто предсказывать замаскированные токены, ELECTRA обучается на задаче обнаружения заменённых токенов (replaced token detection).

Идея в том, что генератор (обычно небольшой MLM) создаёт заменённые токены, а дискриминатор (основная модель ELECTRA) учится отличать настоящие токены от подменённых. Это позволяет эффективнее использовать данные и ускоряет обучение, так как дискриминатор получает сигнал по каждому токену, а не только по замаскированным.

Таким образом, replaced token detection — это задача бинарной классификации для каждого токена: настоящий он или заменённый. Это улучшает качество представлений и снижает вычислительные затраты по сравнению с MLM.