Mida tähendavad TF ja IDF komponendid?

TF ja IDF on TF-IDF meetodi põhikomponendid, mida kasutatakse sõnade olulisuse hindamiseks dokumentides.

• TF (Termini sagedus) — termini sagedus konkreetses dokumendis. Näitab, kui sageli sõna selles tekstis esineb.

• IDF (Tõrke Dokumentide sagedus) — tõrke dokumendi sagedus, mõõdab, kui haruldane või levinud on sõna kogu dokumentide kogus.

Idee on see, et sõnad, mis esinevad sageli konkreetses dokumendis (kõrge TF), kuid on haruldased teistes dokumentides (kõrge IDF), on selle dokumendi jaoks olulisemad.

Valem:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

kus:

• (t) — termin,
• (d) — dokument,
• (N) — dokumentide koguarv,
• (DF(t)) — dokumentide arv, mis sisaldavad terminit (t).

TF-IDF on laialdaselt kasutusel teabeotsingus, teksti analüüsis ja masinõppes, et esile tõsta võtmesõnu.