Welche Probleme gibt es bei A/B-Tests von ML-Modellen (Feedback-Schleife bei Trainingsdaten)?

Bei der Durchführung von A/B-Tests mit ML-Modellen ist eines der Hauptprobleme die Feedback-Schleife, bei der die nach der Implementierung des Modells gesammelten Daten das weitere Training beeinflussen und die Ergebnisse verzerren können. Dies geschieht, wenn das Modell das Verhalten der Nutzer beeinflusst und die neuen Daten, die dieses Verhalten berücksichtigen, für das erneute Training des Modells verwendet werden.

Hauptprobleme:

• Datenverschiebung: Das Modell kann seine eigenen Fehler verstärken, da die neuen Daten nicht unabhängig sind.
• Verlust an Datenvielfalt: Das Modell sieht nur einen bestimmten Ausschnitt des Nutzerverhaltens.
• Schwierigkeiten bei der Bewertung der tatsächlichen Effektivität des Modells, da die Daten von früheren Versionen des Modells abhängen.

Zur Lösung werden Methoden der Datentrennung, Kontrollgruppen sowie periodische Neubewertungen und Aktualisierungen der Daten ohne Einfluss des Modells eingesetzt.