Trekt het model tijdens training met dropout en inferentie zonder het model?

Modeldrift is een verandering in de gegevensverdeling of het gedrag van het model in de loop van de tijd, wat leidt tot een afname van de voorspellingskwaliteit.

Dropout is een regularisatietechniek waarbij tijdens de training willekeurig neuronen worden uitgeschakeld om overfitting te voorkomen. Tijdens inferentie (het berekenen van voorspellingen) wordt dropout meestal uitgeschakeld en zijn alle neuronen actief, maar hun outputs worden geschaald om het effect van dropout tijdens de training te compenseren.

Als dropout correct is geïmplementeerd, treedt er geen modeldrift op bij het overschakelen van training met dropout naar inferentie zonder dropout, omdat de schaling van de neuronausgangen het verschil compenseert. Als de schaling echter niet wordt gedaan of verkeerd wordt gedaan, zal het gedrag van het model tijdens inferentie verschillen van dat tijdens training, wat als drift kan worden geïnterpreteerd.