Что хотят услышать интервьюеры:

Нужно показать, что в low-traffic продукте классические A/B-тесты часто не дают статистической мощности. Важнее уметь выбирать более подходящие методы: качественные исследования, квазиэксперименты, тесты на уровне сегментов, последовательные проверки и feature flags. Хороший ответ обычно включает понимание рисков ложных выводов и умение работать с ограниченным трафиком.

Определение:

В low-traffic продукте тестирование — это не только A/B-тесты, а набор подходов, которые помогают принимать решения при малом количестве пользователей и событий. Основная задача — снизить риск ошибочного вывода, когда данных недостаточно для надежной статистики.

Обычно используют:

проверку гипотез на небольших, но релевантных сегментах;
качественные методы: интервью, usability-тесты, прототипирование;
квазиэксперименты и pre/post-анализ;
накопительные или последовательные тесты;
северные метрики и guardrails, чтобы не сломать продукт.

Пример использования:

Например, в B2B-продукте всего 2–3 тысячи активных пользователей в месяц. Если запустить обычный A/B-тест на кнопку, то он может идти слишком долго и все равно не дать значимого результата. В таком случае лучше сначала проверить гипотезу на прототипе с 5–10 пользователями, потом включить feature flag на узкий сегмент, а эффект оценить по ключевой метрике и поведению до/после.

1. Формулируем гипотезу: новая форма увеличит завершение заявки.
2. Проверяем UX на 5–7 пользователях, чтобы убрать явные проблемы.
3. Включаем новую форму только для части новых аккаунтов.
4. Сравниваем метрику до/после и смотрим guardrails: ошибки, время заполнения, отказы.
5. Если эффект устойчивый, расширяем rollout.

Пояснение кода:

Код не требуется. В примере логика тестирования такая:

Сначала проверяется, понятен ли сценарий пользователям.
Затем изменение выкатывается на ограниченную аудиторию, чтобы снизить риск.
После этого смотрят не только на рост целевой метрики, но и на побочные эффекты.
Если данных мало, решение принимается по совокупности сигналов, а не по одному p-value.

Ключевые моменты:

В low-traffic продукте обычный A/B-тест часто не имеет достаточной мощности.
Лучше комбинировать количественные и качественные методы.
Полезны feature flags, поэтапный rollout и сегментирование аудитории.
Важно заранее определить primary metric и guardrails.
Если данных мало, лучше честно признать неопределенность, чем делать сильный вывод на слабой статистике.
Для длинных циклов покупки полезны pre/post-сравнения и анализ когорт.

Как тестировать в low-traffic продукте?