Каква е разликата между стеминг и лемматизация? В кои задачи какво да се прилага?

Стемингът и лематизацията са методи за нормализиране на думи в обработката на естествен език (NLP), но те се различават по подход и точност.

Стеминг е грубо съкращаване на думите до основата им (stem) чрез премахване на суфикси и окончания. Не взема предвид контекста и може да отреже думите неправилно, понякога водейки до несъществуващи корени.

Лематизация е по-точен процес, който връща думата към нейното речниково форма (лема), като взема предвид морфологичния анализ и частта на речта. Например, "тичам", "тичал" се лемитизират към "тичам".

Кога да използвате:

• Стемингът е подходящ за задачи, където скоростта е важна и е допустима някаква неточност, например в търсачки или при анализ на големи обеми текст.
• Лематизацията е предпочитана, когато точността и семантичната коректност са важни, например в машинен превод, анализ на настроения или извличане на информация.

Пример за стеминг на Python с библиотеката NLTK:

from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem('тичам'))  # изход: тич

Пример за лемитизация:

from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize('тичал', pos='v'))  # изход: тичам