Čo znamenajú komponenty TF a IDF?
sobes.tech AI
Odpoveď od AI
TF a IDF sú kľúčové zložky metódy TF-IDF, ktorá sa používa na hodnotenie dôležitosti slov v dokumentoch.
-
TF (Frekvencia Termínu) — frekvencia termínu v konkrétnom dokumente. Ukazuje, ako často sa slovo v texte vyskytuje.
-
IDF (Inverzná Frekvencia Dokumentu) — inverzná frekvencia dokumentu, meria, ako zriedkavé alebo bežné je slovo v celej kolekcii dokumentov.
Myšlienka je, že slová, ktoré sa často vyskytujú v konkrétnom dokumente (vysoké TF), ale sú zriedkavé v iných dokumentoch (vysoké IDF), majú väčší význam pre tento dokument.
Vzorec:
[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]
kde:
- (t) — výraz,
- (d) — dokument,
- (N) — celkový počet dokumentov,
- (DF(t)) — počet dokumentov obsahujúcich výraz (t).
TF-IDF sa široko používa v vyhľadávaní informácií, analýze textu a strojovom učení na zvýraznenie kľúčových slov.