Šta je stemming i lemmatization u IR?

Stemming i lematizacija su metode normalizacije reči u informativnom pretraživanju (IR), koje pomažu da se različiti oblici reči svode na osnovni oblik radi poboljšanja pretraživanja i analize teksta.

• Stemming je proces sečenja sufiksa i završetaka reči da bi se dobila koren reči. Često koristi jednostavna pravila i može dovesti do netačnih ili skraćenih oblika. Na primer, reči "running", "runs", "runner" mogu biti svedene na "run" ili čak na "runn".

• Lemmatization je složeniji proces koji uzima u obzir kontekst i gramatički oblik reči da bi je doveo do njenog rečničkog oblika (lemma). Na primer, "better" će biti svedeno na "good", a "running" na "run".

U IR, ove metode pomažu u objedinjavanju različitih oblika reči, čime se poboljšava relevantnost pretraživanja.