Čo je to stemming a lemmatization v IR?

Stemming a lematizácia sú metódy normalizácie slov v informačnom vyhľadávaní (IR), ktoré pomáhajú zjednotiť rôzne tvary slova do základnej formy na zlepšenie vyhľadávania a analýzy textu.

• Stemming je proces odstraňovania prípon a koncoviek slov, aby sa získal koreň slova. Často používa jednoduché pravidlá a môže viesť k nepresným alebo skráteným tvarom. Napríklad slová "running", "runs", "runner" môžu byť skrátené na "run" alebo dokonca na "runn".

• Lemmatization je zložitejší proces, ktorý zohľadňuje kontext a gramatickú formu slova, aby ho priviedol k jeho slovníkovej podobe (lemma). Napríklad, "better" bude zmenené na "good" a "running" na "run".

V IR tieto metódy pomáhajú zjednotiť rôzne tvary slov, čím sa zlepšuje relevantnosť vyhľadávania.