Stemming və lemmatizasiyanın fərqi nədir? Hangi tapşırıqlarda hansı istifadə olunur?

Kökleme və lemmatizasiya, təbii dil işlənməsində (NLP) sözlərin normallaşdırılması metodlarıdır, lakin onlar yanaşma və dəqiqlik baxımından fərqlənirlər.

Kökleme — sözləri kök (stem) formasına qısa şəkildə kəsmək üçün istifadə olunur, son əlavələri və sonları çıxarır. Konteksti nəzərə almır və bəzən sözləri düzgün kəsməyərək mövcud olmayan köklər yarada bilər.

Lemmatizasiya — daha dəqiq prosesdir və sözləri lüğət forması (lemma) ilə əvəz edir, morfoloji analiz və nitq hissəsini nəzərə alır. Məsələn, "qaçır", "qaçdı" sözləri "qaç" formasına lemmatizasiya olunur.

Nə zaman istifadə etmək:

• Kökleme sürət vacib olan və bəzi dəqiqlik itkilərinin qəbul oluna biləcəyi tapşırıqlar üçün uyğundur, məsələn, axtarış sistemləri və ya böyük mətn analizində.
• Lemmatizasiya isə dəqiqlik və semantik düzgünlük vacib olduqda, məsələn, avtomatik tərcümə, duyğu analizi və məlumat çıxarışında üstünlük təşkil edir.

Python-da NLTK kitabxanası ilə kökleme nümunəsi:

from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem('qaçır'))  # çıxış: qaç

Lemmatizasiya nümunəsi:

from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize('qaçdı', pos='v'))  # çıxış: qaç