TF ve IDF bileşenleri ne anlama geliyor?

TF ve IDF, belgelerin önemini değerlendirmek için kullanılan TF-IDF yönteminin ana bileşenleridir.

• TF (Terim Frekansı) — belirli bir belgede terimin sıklığı. Kelimenin bu metinde ne sıklıkla geçtiğini gösterir.

• IDF (Ters Belge Frekansı) — belgenin ters sıklığı, bir kelimenin tüm belge koleksiyonunda ne kadar nadir veya yaygın olduğunu ölçer.

Düşünce, belirli bir belgede sık görülen (yüksek TF) ama diğer belgelerde nadir görülen (yüksek IDF) kelimelerin bu belge için daha büyük önemi olmasıdır.

Formül:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

burada:

• (t) — terim,
• (d) — belge,
• (N) — toplam belge sayısı,
• (DF(t)) — terimi içeren belge sayısı.

TF-IDF, bilgi erişimi, metin analizi ve makine öğreniminde anahtar kelimeleri vurgulamak için yaygın olarak kullanılır.