Как се формират групите в A/B тестовете?

Групите в A/B тестовете се формират чрез случайно или псевдослучайно разпределение на потребители или тестови обекти в две или повече подгрупи — обикновено контролна (A) и експериментална (B). Важно е разпределението да бъде случайно и представително, за да се избегнат систематични изкривявания.

Често се използва хеширане на уникалния идентификатор на потребителя (например, userID) с последващо вземане на остатъка от делението на броя на групите, което осигурява стабилност и възпроизводимост на разпределението. Също така се прилага стратифицирано разпределение, ако е необходимо да се балансират групите по важни характеристики (например, възраст, регион).

Пример за прост разпределител:

import hashlib

def assign_group(user_id, num_groups=2):
    hash_digest = hashlib.md5(user_id.encode()).hexdigest()
    hash_int = int(hash_digest, 16)
    return hash_int % num_groups

# user_id 'user123' ще бъде разпределен към група 0 или 1

По този начин групите се формират така, че да осигурят статистическа значимост и да минимизират влиянието на външни фактори.