Was ist SRM (Stichprobenverhältnis-Fehler)?
sobes.tech KI
Antwort von AI
SRM (Streuungsabweichung im Stichprobenverhältnis) ist eine Situation bei A/B-Tests, bei der die tatsächliche Verteilung der Nutzer auf die Experimentgruppen erheblich von der geplanten abweicht. Zum Beispiel, wenn ein Test die Nutzer im Verhältnis 50/50 aufteilen soll, aber letztendlich eine Gruppe 70 % des Traffics erhält, weist dies auf SRM hin.
SRM weist auf Probleme mit der Randomisierung oder technische Fehler im Traffic-Verteilungssystem hin, was die Ergebnisse des Experiments verzerren kann.
Zur Erkennung von SRM werden in der Regel statistische Tests (z.B. Chi-Quadrat) verwendet, um die Übereinstimmung der tatsächlichen Verteilung mit der erwarteten zu überprüfen. Wird SRM festgestellt, sollte das Experiment pausiert und die Ursache analysiert werden, bevor Schlussfolgerungen gezogen werden.