¿Qué es SRM (Desajuste en la proporción de muestras)?

SRM (Desajuste en la proporción de muestras) es una situación en las pruebas A/B donde la distribución real de usuarios en los grupos experimentales difiere significativamente de la planificada. Por ejemplo, si una prueba debe distribuir a los usuarios en un 50/50, pero en realidad un grupo recibe el 70% del tráfico, esto indica un SRM.

El SRM señala problemas con la aleatorización o errores técnicos en el sistema de distribución del tráfico, lo que puede distorsionar los resultados del experimento.

Para detectar el SRM, generalmente se utilizan pruebas estadísticas (por ejemplo, chi-cuadrado) para verificar si la distribución real coincide con la esperada. Si se detecta SRM, el experimento debe detenerse y analizarse la causa antes de sacar conclusiones.