IR-də stemming və lemmatization nədir?

Stemming və lemmatization, məlumat axtarışında (IR) sözlərin normallaşdırılması metodlarıdır və müxtəlif söz formalarını vahid əsas formaya gətirməyə kömək edir, bu da axtarış və mətn analizini yaxşılaşdırır.

• Stemming sözlərin son əlavələrini və sonluqlarını kəsərək kökünü tapma prosesidir. Bu, adətən sadə qaydalar istifadə edir və tam düzgün və ya qısaldılmış formalara səbəb ola bilər. Məsələn, "running", "runs", "runner" sözləri "run" və ya hətta "runn" kimi qısaldıla bilər.

• Lemmatization isə daha mürəkkəb bir prosesdir və kontekst və qrammatik formaya diqqət yetirərək, sözün lüğət forması (lemma) ilə nəticələnir. Məsələn, "better" "good" kimi, "running" isə "run" kimi çevriləcək.

IR-də bu metodlar sözlərin müxtəlif formalarını birləşdirməyə kömək edir və axtarışın uyğunluğunu artırır.