Что такое multi-armed bandit?

Multi-armed bandit — это алгоритмический подход к оптимизации выбора между несколькими вариантами ("руками"), каждый из которых приносит случайный, но неизвестный заранее доход. Задача — максимизировать суммарный выигрыш, балансируя между исследованием новых вариантов (exploration) и использованием уже известных лучших (exploitation).

В контексте A/B-тестов multi-armed bandit позволяет динамически перераспределять трафик между вариантами, увеличивая долю пользователей на более успешных вариантах, что повышает общую эффективность эксперимента и снижает потери от показа менее удачных вариантов.

Пример: если у вас есть три версии интерфейса, алгоритм будет постепенно увеличивать трафик на ту версию, которая показывает лучшие результаты, но при этом периодически проверять и другие, чтобы не пропустить потенциально лучший вариант.