Čime se razlikuje stemming od lematizacije? U kojim zadacima treba koristiti koji?

Stemming i lematizacija su metode normalizacije reči u obradi prirodnog jezika (NLP), ali se razlikuju po pristupu i tačnosti.

Stemming je gruba skraćenja reči do njihove osnove (stem) uklanjanjem sufiksa i završetaka. Ne uzima u obzir kontekst i može pogrešno skratiti reči, ponekad dovodeći do nepostojećih korena.

Lemmatizacija je precizniji proces koji vraća reč u njen rečnik oblik (lemma), uzimajući u obzir morfološku analizu i vrstu reči. Na primer, "trčim", "trčao" se lemmatizuju u "trčati".

Kada koristiti:

• Stemming je pogodan za zadatke gde je brzina važna i dozvoljena je određena nepreciznost, na primer u pretraživačima ili analizi velikih količina teksta.
• Lemmatizacija je poželjna kada je važna tačnost i semantička ispravnost, na primer u mašinskom prevođenju, analizi sentimenta ili ekstrakciji informacija.

Primer steminga u Python-u koristeći biblioteku NLTK:

from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem('trčim'))  # rezultat: trč

Primer lemmatizacije:

from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize('trčao', pos='v'))  # rezultat: trčati