Ko nozīmē TF un IDF komponenti?

TF un IDF ir galvenās sastāvdaļas TF-IDF metodē, kas tiek izmantotas, lai novērtētu vārdu nozīmīgumu dokumentos.

• TF (Terminu biežums) — terminu biežums konkrētā dokumentā. Parāda, cik bieži vārds parādās tekstā.

• IDF (Atgrieztais dokumenta biežums) — atgrieztais dokumenta biežums, mēra, cik reti vai bieži vārds ir visā dokumentu kolekcijā.

Ideja ir tāda, ka vārdi, kas bieži parādās konkrētā dokumentā (augsts TF), bet ir reti citos dokumentos (augsts IDF), ir svarīgāki šim dokumentam.

Formula:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

kur:

• (t) — termins,
• (d) — dokuments,
• (N) — kopējais dokumentu skaits,
• (DF(t)) — dokumentu skaits, kas satur terminu (t).

TF-IDF plaši tiek izmantots informācijas meklēšanā, teksta analīzē un mašīnmācībā, lai izceltu galvenās atslēgvārdus.