Что такое back-translation и как её применяют при обучении NMT?

Back-translation — это метод в обучении нейронных моделей машинного перевода (NMT), который помогает улучшить качество перевода за счёт использования дополнительного синтетического тренировочного материала.

Идея:

1. Есть большой набор текстов на целевом языке (например, на русском), но мало пар предложений «исходный язык — целевой язык».
2. Сначала обучают модель перевода в обратном направлении (с целевого языка на исходный).
3. Затем с помощью этой обратной модели переводят тексты с целевого языка на исходный, создавая синтетические пары.
4. Эти синтетические пары добавляют в тренировочный набор для основной модели (с исходного на целевой).

Такой подход позволяет использовать большие монолингвальные корпуса и повысить качество перевода, особенно когда параллельных данных мало.

Пример:

• Есть много текстов на русском, мало пар английский-русский.
• Обучаем модель русско-английского перевода.
• Переводим русский текст на английский — получаем синтетический английский текст.
• Используем пары (синтетический английский, русский) для обучения английско-русской модели.