Ką reiškia TF ir IDF komponentai?

TF ir IDF yra pagrindiniai TF-IDF metodo komponentai, naudojami vertinant žodžių svarbą dokumentuose.

• TF (Termino dažnis) — termino dažnis konkrečiame dokumente. Parodo, kaip dažnai žodis pasirodo tekste.

• IDF (Atvirkštinis dokumento dažnis) — atvirkštinis dokumento dažnis, matuoja, kaip retas arba dažnas žodis yra visoje dokumentų kolekcijoje.

Idėja ta, kad žodžiai, kurie dažnai pasirodo konkrečiame dokumente (aukštas TF), bet yra reti kituose dokumentuose (aukštas IDF), turi didesnę svarbą šiam dokumentui.

Formulė:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

kur:

• (t) — terminas,
• (d) — dokumentas,
• (N) — bendras dokumentų skaičius,
• (DF(t)) — dokumentų skaičius, kuriuose yra terminas (t).

TF-IDF plačiai naudojamas informacijos paieškoje, teksto analizėje ir mašininiame mokyme, siekiant išryškinti raktinius žodžius.