Co je to stemming a lemmatization v IR?

Stemming a lemmatizace jsou metody normalizace slov v informačním vyhledávání (IR), které pomáhají sjednotit různé tvary slova do základní formy pro zlepšení vyhledávání a analýzy textu.

• Stemming je proces odstraňování přípon a koncovek slov, aby se získal kořen slova. Často používá jednoduchá pravidla a může vést k nepřesným nebo zkráceným tvarům. Například slova "running", "runs", "runner" mohou být zkrácena na "run" nebo dokonce na "runn".

• Lemmatization je složitější proces, který zohledňuje kontext a gramatickou formu slova, aby jej přivedl k jeho slovníkové podobě (lemma). Například "better" bude převedeno na "good" a "running" na "run".

V IR tyto metody pomáhají sjednotit různé tvary slov, čímž se zlepšuje relevance vyhledávání.