Что хотят услышать интервьюеры:

A/B-тест неприменим, когда нельзя обеспечить случайное разделение пользователей или когда эффект теста невозможно корректно измерить. Также он плохо подходит, если цена ошибки слишком высока, а нужна быстрая и однозначная бизнес-решение. Важно показать, что понимаете ограничения статистики, продукта и операционных рисков.

Определение:

A/B-тест — это способ сравнить две или более версии продукта на случайно разделённых группах пользователей, чтобы измерить влияние изменения на целевую метрику. Он неприменим, если нарушаются базовые условия эксперимента: рандомизация, независимость групп, достаточный размер выборки, стабильность условий и возможность наблюдать результат.

Пример использования:

Например, A/B-тест плохо подходит для проверки изменения цен в небольшом B2B-продукте, где клиентов мало и каждый аккаунт сильно влияет на выручку. Если половина ключевых клиентов увидит новую цену, а половина — старую, тест может создать конфликт с продажами и исказить долгосрочный эффект.

Пояснение кода:

Код не требуется. Логика применения A/B-теста в этом случае разбирается по шагам:

Проверяется, можно ли случайно и независимо разделить аудиторию.
Оценивается, достаточно ли трафика и времени для статистически значимого результата.
Смотрится, не ломает ли тест продуктовый процесс, юридические правила или коммуникацию с клиентами.
Проверяется, можно ли измерить нужный эффект без сильных смещений и внешних факторов.
Если хотя бы одно из этих условий не выполняется, лучше использовать другой подход: пилот, квази-эксперимент, анализ до/после, holdout или качественные исследования.

Ключевые моменты:

Нельзя использовать A/B-тест, если нет корректной рандомизации.
Он неприменим при слишком малой выборке или коротком окне наблюдения.
Тест плохо работает, если эффект сильно отсрочен или метрика измеряется с большим шумом.
Не стоит применять его, если эксперимент может навредить бизнесу, клиентам или нарушить регуляторные требования.
Для сетевых эффектов, когда пользователи влияют друг на друга, A/B-тест часто даёт искажённый результат.
Если нужна оценка причины и следствия в сложной среде, иногда лучше выбрать другой метод исследования.

Когда A/B-тест неприменим?