Wat zijn stemming en lemmatization in IR?

Stemming en lemmatization zijn methoden voor woordnormalisatie in informatiezoektocht (IR), die helpen om verschillende vormen van een woord te herleiden tot een basisvorm om zo de zoekresultaten en tekstanalyse te verbeteren.

• Stemming is het proces waarbij suffixen en eindigingen van woorden worden afgesneden om de stam van het woord te verkrijgen. Het gebruikt vaak eenvoudige regels en kan leiden tot niet helemaal correcte of ingekorte vormen. Bijvoorbeeld, de woorden "running", "runs", "runner" kunnen worden teruggebracht tot "run" of zelfs "runn".

• Lemmatization is een complexer proces dat rekening houdt met de context en grammaticale vorm van het woord om het terug te brengen naar de woordenboekvorm (lemma). Bijvoorbeeld, "better" wordt teruggebracht naar "good", en "running" naar "run".

In IR helpen deze methoden om verschillende vormen van woorden te combineren, waardoor de relevantie van de zoekresultaten wordt verbeterd.