Kas yra stemming ir lemmatization IR?

Stemming ir lemmatization yra žodžių normalizavimo metodai informacijos paieškoje (IR), kurie padeda suvienodinti skirtingas žodžio formas į pagrindinę formą, siekiant pagerinti paiešką ir teksto analizę.

• Stemming — tai procesas, kurio metu žodžių priesagos ir galūnės yra nukirptos, kad būtų gauta žodžio šaknis. Dažnai naudojamos paprastos taisyklės ir tai gali sukelti netikslias arba sutrumpintas formas. Pavyzdžiui, žodžiai "running", "runs", "runner" gali būti sutrumpinti iki "run" arba net "runn".

• Lemmatization — tai sudėtingesnis procesas, kuris atsižvelgia į kontekstą ir gramatinę formą, kad žodis būtų grąžintas į žodyno formą (lemma). Pavyzdžiui, "better" taps "good", o "running" — "run".

Šiuo būdu šie metodai padeda suvienodinti skirtingas žodžių formas, gerinant paieškos aktualumą.