Kuidas erineb stemming lemmatiseerimisest? Millistes ülesannetes mida kasutada?

Stemming ja lemmatization on meetodid sõnade normaliseerimiseks loomulikus keele töötlemises (NLP), kuid need erinevad lähenemise ja täpsuse poolest.

Stemming on sõnade üldine (juur)kuju saavutamine, eemaldades sufiksid ja lõpud. See ei arvesta konteksti ning võib sõnu valesti kärpida, põhjustades mitteeksisteerivaid juuri.

Lemmatization on täpsem protsess, mis viib sõna sõnastiku vormi (lemma), võttes arvesse morfoloogilist analüüsi ja sõnaliiki. Näiteks, "jooksen", "jooksis" lemmatiseeritakse kui "jooksma".

Millal kasutada:

• Stemming sobib ülesannete jaoks, kus oluline on kiirus ja lubatud on teatud ebakõlad, näiteks otsingumootorites või suure tekstimahu analüüsis.
• Lemmatization on eelistatud, kui oluline on täpsus ja semantiline korrektsus, näiteks masintõlkes, meeleoluanalüüsis või teabe ekstraktsioonis.

Python näide NLTK raamatukoguga:

from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem('jooksen'))  # väljund: jook

Lemmatization näide:

from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize('jooksis', pos='v'))  # väljund: jookse