Wat is continu leren en wat is het probleem van catastrophisch vergeten?

Voortdurend leren — is het vermogen van een machine learning-model om sequentieel te leren van nieuwe gegevens, zonder de eerder verworven kennis te vergeten. Dit is belangrijk voor systemen die zich moeten aanpassen aan veranderende omstandigheden zonder helemaal opnieuw te hoeven trainen.

Het probleem van catastrophisch vergeten doet zich voor wanneer het model bij het trainen met nieuwe gegevens de capaciteit verliest om correct te werken met eerder geleerde taken of gegevens. Dit komt doordat het bijwerken van de gewichten van het model voor nieuwe gegevens de eerder opgedane kennis kan «overschrijven».

Om dit probleem aan te pakken, worden verschillende methoden gebruikt:

• Regularisatie, die veranderingen in belangrijke modelparameters beperkt.
• Gebruik van geheugen om voorbeelden van eerdere taken op te slaan (replay).
• Architectonische oplossingen, zoals het splitsen van het model in delen voor verschillende taken.

Op deze manier stelt voortgezet leren modellen in staat om effectief te leren van nieuwe gegevens zonder oude kennis te verliezen, wat cruciaal is voor langdurige AI-toepassingen.