Mis on stemming ja lemmatization IR-is?

Stemming ja lemmatization ovat sanojen normalisointimenetelmiä tiedonhaussa (IR), jotka auttavat yhdistämään eri muotoisia sanoja yhtenäiseen perusmuotoon parantaakseen hakua ja tekstianalyysiä.

• Stemming on prosessi, jossa sanan suffiksit ja päätteet leikataan pois saadakseen sanan juuren. Se käyttää usein yksinkertaisia sääntöjä ja voi johtaa epätarkkoihin tai lyhennettyihin muotoihin. Esimerkiksi sanat "running", "runs", "runner" voidaan palauttaa muotoon "run" tai jopa "runn".

• Lemmatization on monimutkaisempi prosessi, joka ottaa huomioon sanan kontekstin ja kieliopillisen muodon, jotta se palautetaan sanakirjamuotoon (lemma). Esimerkiksi "better" palautuu muotoon "good" ja "running" muotoon "run".

Näitä menetelmiä käytetään IR:ssä yhdistämään eri muotoisia sanoja, mikä parantaa haun relevanssia.