Wat is SRM (Sample Ratio Mismatch)?
sobes.tech AI
Antwoord van AI
SRM (Sample Ratio Mismatch) — dit is een situatie bij A/B-testen waarbij de feitelijke verdeling van gebruikers over de experimentele groepen aanzienlijk afwijkt van de geplande verdeling. Bijvoorbeeld, als een test gebruikers in een 50/50 verhouding zou moeten verdelen, maar uiteindelijk krijgt één groep 70% van het verkeer, dan wijst dit op SRM.
SRM geeft problemen aan met de randomisatie of technische fouten in het verkeerstoewijzingssysteem, wat de resultaten van het experiment kan vertekenen.
Om SRM te detecteren worden meestal statistische tests (bijvoorbeeld chi-kwadraat) gebruikt om te controleren of de feitelijke verdeling overeenkomt met de verwachte. Als SRM wordt vastgesteld, moet het experiment worden gepauzeerd en de oorzaak worden onderzocht voordat conclusies worden getrokken.