Как формируются группы в A/B тестах?

Группы в A/B тестах формируются с помощью случайного или псевдослучайного распределения пользователей или объектов тестирования на две или более подгруппы — обычно контрольную (A) и экспериментальную (B). Важно, чтобы распределение было случайным и репрезентативным, чтобы избежать систематических смещений.

Часто используют хеширование уникального идентификатора пользователя (например, userID) с последующим взятием остатка от деления на количество групп, что обеспечивает стабильность и воспроизводимость распределения. Также применяют стратифицированное распределение, если нужно сбалансировать группы по важным признакам (например, возраст, регион).

Пример простого распределения:

import hashlib

def assign_group(user_id, num_groups=2):
    hash_digest = hashlib.md5(user_id.encode()).hexdigest()
    hash_int = int(hash_digest, 16)
    return hash_int % num_groups

# user_id 'user123' попадет в группу 0 или 1

Таким образом, группы формируются так, чтобы обеспечить статистическую значимость и минимизировать влияние внешних факторов.