Mit jelentenek a TF és IDF összetevők?

A TF és IDF a TF-IDF módszer kulcsfontosságú összetevői, amelyeket a szavak fontosságának értékelésére használnak a dokumentumokban.

• TF (Szó Előfordulási Gyakoriság) — a szó gyakorisága egy adott dokumentumban. Megmutatja, milyen gyakran fordul elő a szó ebben a szövegben.

• IDF (Fordított Dokumentum Gyakoriság) — a dokumentum fordított gyakorisága, méri, hogy mennyire ritka vagy gyakori egy szó az egész dokumentumgyűjteményben.

Az ötlet az, hogy azok a szavak, amelyek gyakran fordulnak elő egy adott dokumentumban (magas TF), de ritkán más dokumentumokban (magas IDF), nagyobb jelentőséggel bírnak ebben a dokumentumban.

Képlet:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

ahol:

• (t) — kifejezés,
• (d) — dokumentum,
• (N) — összes dokumentum száma,
• (DF(t)) — a dokumentumok száma, amelyek tartalmazzák a (t) kifejezést.

A TF-IDF széles körben használják az információkeresésben, szövegelemzésben és gépi tanulásban a kulcsszavak kiemelésére.