IR'de stemming ve lemmatization nedir?

Stemming ve lemmatizasyon, bilgi arama (IR) alanında kelimelerin normalizasyonu için kullanılan yöntemlerdir ve farklı kelime biçimlerini tek bir temel forma getirerek aramayı ve metin analizini iyileştirmeye yardımcı olurlar.

• Stemming, kelimelerin son eklerini ve soneklerini keserek kökünü elde etme işlemidir. Genellikle basit kurallar kullanır ve tam olarak doğru veya kısaltılmış olmayan biçimler ortaya çıkarabilir. Örneğin, "running", "runs", "runner" kelimeleri "run" veya hatta "runn" olarak indirgenebilir.

• Lemmatizasyon, kelimenin bağlamını ve dilbilgisel şeklini dikkate alan daha karmaşık bir süreçtir ve kelimeyi sözlük biçimine (lemma) getirir. Örneğin, "better" "good" olarak, "running" ise "run" olarak dönüştürülür.

IR'de bu yöntemler, farklı kelime biçimlerini birleştirerek arama alaka düzeyini artırmaya yardımcı olur.