Mi az MLM (maszkolt nyelvi modellezés)? Mekkora az arány a maszkolt tokenek aránya?
sobes.tech MI
Válasz az MI-től
Maszkolt Nyelvi Modellezés (MLM) — ez egy nyelvi modell tanítási feladata, amely során a bemeneti tokenek egy részét véletlenszerűen maszkolják (például egy speciális token, pl. [MASK] helyett), és a modellnek meg kell jósolnia ezeknek a maszkolt tokeneknek az eredeti értékeit.
Ez lehetővé teszi a modell számára, hogy megtanulja a kontextust és megértse a szavak közötti összefüggéseket.
A klasszikus BERT megvalósításban körülbelül 15% a bemeneti mondatok tokenjei közül maszkolva. Ebből a 15%-ból:
- 80% [MASK] tokenre cserélődik
- 10% véletlenszerű tokenre cserélődik
- 10% változatlan marad (de a modellnek még mindig meg kell jósolnia az eredeti tokent)
Ez a megközelítés segít a modellnek, hogy ne túlilleszkedjen a [MASK] tokenhez, és jobban általánosítson.
Példa: a "The cat sat on the mat" mondatra a modell "The cat [MASK] on the mat"-et kaphat, és meg kell jósolnia a "sat" szót.