Welke problemen zijn er bij A/B-testen van ML-modellen (feedbacklus van trainingsgegevens)?

Bij het uitvoeren van A/B-tests met ML-modellen is een van de belangrijkste problemen de feedbacklus, waarbij de gegevens die na de implementatie van het model worden verzameld, invloed hebben op de verdere training en de resultaten kunnen vervormen. Dit gebeurt als het model het gedrag van gebruikers beïnvloedt en de nieuwe gegevens die rekening houden met dit gedrag worden gebruikt voor hertraining.

Belangrijkste problemen:

• Data bias: het model kan zijn eigen fouten versterken omdat de nieuwe gegevens niet onafhankelijk zijn.
• Verlies van datadiversiteit: het model ziet slechts een bepaald segment van het gebruikersgedrag.
• Moeilijkheden bij het beoordelen van de werkelijke effectiviteit van het model, omdat de gegevens afhankelijk zijn van eerdere versies van het model.

Oplossingen omvatten datamodulatie, controlegroepen, en periodieke herwaarderingen en updates van gegevens zonder invloed van het model.