Qu'est-ce que le SRM (Inadéquation du ratio d'échantillonnage) ?

SRM (Déséquilibre du ratio d’échantillonnage) est une situation dans les tests A/B où la répartition réelle des utilisateurs dans les groupes expérimentaux diffère de manière significative de celle prévue. Par exemple, si un test doit répartir les utilisateurs en 50/50, mais qu’en réalité un groupe reçoit 70 % du trafic, cela indique un SRM.

Le SRM signale des problèmes de randomisation ou des erreurs techniques dans le système de distribution du trafic, ce qui peut fausser les résultats de l’expérience.

Pour détecter le SRM, on utilise généralement des tests statistiques (par exemple, le chi carré) pour vérifier si la répartition réelle correspond à celle attendue. Si un SRM est détecté, l’expérience doit être suspendue et la cause analysée avant de tirer des conclusions.