Care este diferența dintre stemming și lematizare? În ce sarcini se aplică fiecare?

Stemming și lematizarea sunt metode de normalizare a cuvintelor în procesarea limbajului natural (NLP), dar diferă în abordare și acuratețe.

Stemming este o tehnică brută de tăiere a cuvintelor până la rădăcina lor (stem) prin eliminarea sufixelor și terminațiilor. Nu ia în considerare contextul și poate tăia cuvintele inexact, uneori generând rădăcini inexistente.

Lemmatizarea este un proces mai precis care aduce cuvântul la forma sa de dicționar (lemma), ținând cont de analiza morfologică și de partea de vorbire. De exemplu, "alerg", "alergat" sunt lemmatizate la "a alerga".

Când să folosiți:

• Stemming-ul este potrivit pentru sarcini unde viteza este importantă și se tolerează o anumită inexactitate, cum ar fi în motoarele de căutare sau în analiza volumelor mari de text.
• Lemmatizarea este preferabilă atunci când precizia și corectitudinea semantică sunt esențiale, cum ar fi în traducerea automată, analiza sentimentelor sau extragerea de informații.

Exemplu de stemming în Python cu biblioteca NLTK:

from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem('alerg'))  # ieșire: alerg

Exemplu de lemmatizare:

from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize('alergat', pos='v'))  # ieșire: a alerga