Wat is back leakage?

Back leakage (teruglek) in de context van machine learning en datakwaliteitstests is een situatie waarin informatie die betrekking heeft op de toekomst in het model of de testgegevens terechtkomt, die bedoeld zijn voor training of verificatie op basis van historische gegevens. Dit leidt tot een onrealistisch hoge prestatie van het model op de testgegevens, omdat het model in wezen "naar de toekomst kijkt".

Voorbeelden van back leakage:

• Tijdreeksen: Het opnemen van toekomstige waarden van een tijdreeks (bijvoorbeeld de aandelenkoers morgen) in kenmerken of labels om een model te trainen dat het verleden of het heden moet voorspellen.
• Leakage van de testset naar de training: Per ongeluk gegevens uit de testset in de trainingsset opnemen, of informatie uit de testset gebruiken bij het verwerken van de trainingsset (bijvoorbeeld het schalen van kenmerken op basis van statistieken van de hele dataset, inclusief de test).
• Feature-generatie: Het creëren van kenmerken op basis van gegevens die na het tijdstip zijn verzameld waarvoor de voorspelling wordt gedaan.

Gevolgen van back leakage:

• Onrealistische prestatieratio's op de testgegevens.
• Slechte prestaties van het model onder echte omstandigheden (bij toepassing op nieuwe, toekomstige gegevens).
• Onjuiste conclusies over de kwaliteit van het model.

Het voorkomen van back leakage is cruciaal voor het bouwen van betrouwbare modellen en het uitvoeren van correcte tests.