Milyen technikákkal lehet megelőzni a katasztrofális felejtést az újratanítás során?

Katasztrófális felejtés egy olyan probléma, amikor egy neurális hálózat új adatokon történő további tanítás során elfelejti a korábban megtanult információkat. Ennek megelőzése érdekében több technikát alkalmaznak:

• Rugalmas súlykonszolidáció (EWC): a veszteségfüggvényhez hozzáad egy büntetést a régi feladatok számára fontos paraméterek változására, amit Fisher-információ segítségével számítanak ki.
• Replay (Tapasztalat újrajátszás): az újra tanítás során az új adatokat keverik a régi adathalmazból véletlenszerűen kiválasztott példákkal vagy generatív modellel generált példákkal.
• Progresszív hálózatok: külön hálózatokat hoznak létre az új feladatokhoz, megőrizve a régieket változtatás nélkül, és tudást közvetítenek a rételeken keresztül.
• Regulárizáció alapú módszerek: regulárizációt adnak hozzá, amely korlátozza a fontos súlyok változását a korábbi feladatokhoz képest.
• Paraméter izoláció: külön paramétereket vagy alhalmazokat rendelnek minden feladathoz.

EWC például (egyszerűsített):

# loss = új feladat veszteség + lambda * összeg(Fisher[i] * (theta[i] - theta_régi[i])**2)

Így a modell megőrzi a tudást, anélkül, hogy elfelejtené a régi feladatokat a további tanítás során.