Tokenizasiya necə işləyir? Niyə tam sözlər yerinə subword-tokenlər istifadə olunur?

Tokenizasiya — bu mətnin daha kiçik hissələrə — tokenlara bölünməsi prosesidir; bunlar sözlər, alt-sözlər və ya simvollar ola bilər.

Alt-söz tokenları tam sözlər yerinə istifadə olunur, çünki:

• Tanınmayan və ya nadir sözləri effektiv şəkildə işləməyə imkan verir, onları tanınmış hissələrə bölərək.
• Modelin lüğətinin ölçüsünü azaldır, bu da yaddaş tələblərini azaldır və təlimi sürətləndirir.
• Modelin ümumiləşdirməsini yaxşılaşdırır, çünki o, yalnız tam sözlər deyil, söz hissələrindən öyrənir.

Məsələn, "непрерывность" sözü "не", "прерыв", "ность" tokenlarına bölünə bilər. Əgər model yeni "непрерывный" sözünü taparsa, tanınmış hissələri tanıyacaq və mənasını başa düşəcək.

BPE (Byte Pair Encoding) və ya WordPiece kimi alqoritmlər, rast gəlinən simvol ardıcıllıqlarının tezliyinə əsaslanan alt-söz lüğəti qurur.