Что такое switchback test?

Что хотят услышать интервьюеры:

Switchback test — это тип эксперимента, где варианты показывают не разным пользователям одновременно, а одному и тому же объекту в разные временные периоды. Такой подход используют, когда есть сильный эффект времени, сети или кросс-влияние между участниками. Обычно это помогает измерять влияние изменения там, где обычный A/B-тест может исказить результат.

Определение:

Switchback test — это экспериментальный дизайн, в котором контроль и тест чередуются по времени или по другим естественным блокам, например по часам, дням или географическим зонам. Вместо параллельного деления аудитории на группы система переключается между вариантами, чтобы сравнить метрики в сопоставимых интервалах. Такой метод часто применяют в логистике, маркетплейсах, доставке, matching-системах и других сценариях с интерференцией между пользователями.

Пример использования:

Допустим, сервис доставки хочет проверить новый алгоритм назначения курьеров. Если запустить обычный A/B-тест, изменения в одном городе или районе могут повлиять на всех пользователей сразу, а еще появится эффект очередей и перегрузки.

Понедельник 08:00–12:00 — контрольный алгоритм
Понедельник 12:00–16:00 — новый алгоритм
Понедельник 16:00–20:00 — контрольный алгоритм
Вторник 08:00–12:00 — новый алгоритм
...

Сравнивают среднее время доставки, отмены и загрузку курьеров по одинаковым временным слотам.

Пояснение кода:

Код не требуется, потому что switchback test — это метод организации эксперимента, а не программная конструкция.
Логика примера такая: сначала задают единицу переключения, например 4-часовые окна. Затем в каждом окне фиксируют, какой вариант активен. После этого сравнивают метрики между окнами с учетом дня недели, часа и других факторов, потому что они могут сильно влиять на результат.
Важно не смешивать данные из соседних интервалов, если эффект изменения «перетекает» между ними.

Ключевые моменты:

• Используется, когда обычный A/B-тест некорректен из-за интерференции или временных эффектов.
• Варианты сравниваются не по пользователям, а по временным или другим естественным блокам.
• Хорошо подходит для систем с общим ресурсом: очереди, логистика, ранжирование, marketplace.
• Критично правильно выбрать длительность переключения, чтобы уменьшить шум и эффект переноса.
• Анализ сложнее, чем в классическом A/B, потому что нужно учитывать сезонность, тренды и автокорреляцию.
• Это не замена A/B-тесту, а инструмент для специфических сценариев, где A/B неприменим или дает смещенную оценку.