Что хотят услышать интервьюеры:

Sample selection bias в exp-платформе — это систематическое искажение метрик, когда в эксперимент попадает не случайная и не репрезентативная выборка пользователей. В результате эффект фичи оценивается не по всей целевой аудитории, а по смещённой группе. Это приводит к неверным выводам про uplift и может ломать интерпретацию A/B-тестов.

Определение:

Sample selection bias — это ситуация, когда состав экспериментальной выборки зависит от факторов, связанных с целевой метрикой или вероятностью попадания в тест. В exp-платформе это означает, что пользователи, которые дошли до эксперимента, отличаются от тех, кто не дошёл: по поведению, устройству, географии, активности, скорости загрузки, статусу аккаунта и т.д.

Такой bias возникает, если:

рандомизация сделана не на всей популяции, а только на части пользователей;
часть трафика отфильтровывается до назначения в эксперимент;
есть недоступность эксперимента для некоторых сегментов;
логика включения в тест зависит от действий пользователя или состояния системы.

Итог: эксперимент сравнивает не «всех против всех», а «отобранных против отобранных», поэтому оценка эффекта может быть смещена.

Пример использования:

Допустим, новая версия checkout раскатывается только на пользователей, которые успели загрузить страницу менее чем за 2 секунды. Тогда в тест попадут более «лёгкие» и, возможно, более вовлечённые пользователи. Если у таких пользователей и без фичи конверсия выше, эксперимент может переоценить эффект новой версии.

Все пользователи
  ├─ медленная загрузка страницы
  │    └─ исключены из эксперимента
  └─ быстрая загрузка страницы
       └─ попали в A/B-тест

Сравнение идёт только внутри "быстрых" пользователей,
поэтому вывод не переносится на всю аудиторию.

Пояснение кода:

Код не требуется. На практике это можно разложить по шагам так:

Сначала определяется, какие пользователи вообще имеют шанс попасть в эксперимент.
Затем проверяется, не зависит ли это условие от поведения, которое влияет на метрику.
После этого сравниваются характеристики попавших и не попавших пользователей.
Если группы заметно различаются, результат теста может быть смещён.
Для корректности нужно либо менять схему включения, либо отдельно оценивать влияние отбора.

Ключевые моменты:

Это не ошибка статистического теста, а проблема состава выборки.
Bias появляется до анализа метрик — на этапе трафика, фильтрации или рандомизации.
Особенно опасен, когда попадание в эксперимент связано с конверсией, активностью или технической доступностью.
Может приводить как к завышению, так и к занижению эффекта.
В exp-платформах обычно борются через полноценную рандомизацию, pre-checks, SRM-детекты и сравнение распределений между группами.
Если выборка смещена, p-value может быть формально корректным, но отвечать на неправильный вопрос.

Что такое sample selection bias в exp-платформе?