Cos'è il mismatch del rapporto di campionamento?

Il Disallineamento del Rapporto di Campione (SRM) è una situazione nei test A/B in cui la distribuzione effettiva degli utenti tra le varianti del test differisce significativamente da quella pianificata (ad esempio, 50/50).

Le cause del SRM possono essere legate a errori nella configurazione dell’esperimento, problemi di tracciamento, bug nel codice o fattori esterni che influenzano il campione.

Perché è importante:

• Il SRM indica una violazione della distribuzione casuale, il che può portare a risultati distorti e non affidabili.
• Quando viene rilevato il SRM, bisogna verificare la correttezza dell’implementazione del test e, eventualmente, interrompere l’analisi fino alla risoluzione del problema.

Per rilevare il SRM si utilizzano generalmente test statistici (ad esempio, il test del chi-quadrato) per verificare la conformità della distribuzione reale a quella attesa.