Como são formados os grupos nos testes A/B?

Os grupos em testes A/B são formados através de uma distribuição aleatória ou pseudoaleatória de utilizadores ou objetos de teste em dois ou mais subgrupos, normalmente um grupo de controlo (A) e um grupo experimental (B). É importante que a distribuição seja aleatória e representativa para evitar vieses sistemáticos.

Frequentemente, utiliza-se o hashing do identificador único do utilizador (por exemplo, userID) com a subsequente obtenção do resto da divisão pelo número de grupos, o que garante estabilidade e reprodutibilidade na distribuição. Também se aplica uma distribuição estratificada, se for necessário equilibrar os grupos com base em características importantes (por exemplo, idade, região).

Exemplo de distribuição simples:

import hashlib

def assign_group(user_id, num_groups=2):
    hash_digest = hashlib.md5(user_id.encode()).hexdigest()
    hash_int = int(hash_digest, 16)
    return hash_int % num_groups

# user_id 'user123' será atribuído ao grupo 0 ou 1

Desta forma, os grupos são formados para garantir a significância estatística e minimizar a influência de fatores externos.