Qu'est-ce qu'un décalage de ratio d'échantillonnage?

Le déséquilibre de la proportion d’échantillons (SRM) est une situation dans les tests A/B où la répartition réelle des utilisateurs entre les variantes du test diffère de manière significative de celle prévue (par exemple, 50/50).

Les causes du SRM peuvent être liées à des erreurs dans la configuration de l’expérience, des problèmes de suivi, des bugs dans le code ou des facteurs externes influençant l’échantillon.

Pourquoi c’est important :

• Le SRM indique une violation de la distribution aléatoire, ce qui peut conduire à des résultats biaisés et peu fiables.
• Lorsqu’un SRM est détecté, il faut vérifier la correction de la mise en œuvre du test et éventuellement arrêter l’analyse jusqu’à la résolution du problème.

Pour détecter le SRM, on utilise généralement des tests statistiques (par exemple, le chi carré) pour vérifier la conformité de la distribution réelle à celle attendue.