Τι είναι το MLM (μοντελοποίηση κρυμμένης γλώσσας); Ποιο ποσοστό των tokens καλύπτεται;

Η Μοντελοποίηση Κειμένου με Κρυμμένα Λέξεις (MLM) είναι μια εργασία εκπαίδευσης ενός γλωσσικού μοντέλου, στην οποία ένα μέρος των εισερχόμενων tokens κρυπτογραφείται τυχαία (αντικαθίσταται με ένα ειδικό token, π.χ., [MASK]), και το μοντέλο πρέπει να προβλέψει τις αρχικές τιμές αυτών των κρυμμένων tokens.

Αυτό επιτρέπει στο μοντέλο να μαθαίνει το πλαίσιο και να κατανοεί τις σχέσεις μεταξύ των λέξεων.

Στην κλασική υλοποίηση του BERT, περίπου το 15% των tokens σε κάθε εισερχόμενη πρόταση κρυπτογραφείται. Από αυτά τα 15%:

• Το 80% αντικαθίσταται με το token [MASK]
• Το 10% αντικαθίσταται με τυχαίο token
• Το 10% παραμένει αμετάβλητο (αλλά το μοντέλο πρέπει ακόμα να προβλέψει το αρχικό token)

Αυτή η προσέγγιση βοηθά το μοντέλο να μην υπερεκπαιδεύεται στο token [MASK] και να γενικεύει καλύτερα.

Παράδειγμα: για την πρόταση "The cat sat on the mat", το μοντέλο μπορεί να λάβει "The cat [MASK] on the mat" και πρέπει να προβλέψει τη λέξη "sat".