Компонентҳои TF ва IDF чӣ маъно доранд?

TF ва IDF асосӣ компонентҳои усули TF-IDF мебошанд, ки барои арзёбии аҳамияти калимаҳо дар ҳуҷҷатҳо истифода мешаванд.

• TF (Фоизи калима) — фоизи калима дар ҳуҷҷати муайян. Нишон медиҳад, ки чӣ қадар калима дар матн пайдо мешавад.

• IDF (Фоизи муқобили ҳуҷҷат) — фоизи муқобили ҳуҷҷат, ки нишон медиҳад, ки чӣ қадар калима дар тамоми маҷмӯи ҳуҷҷатҳо кам ё зиёд аст.

Мантиқ ин аст, ки калимаҳое, ки дар ҳуҷҷати махсус (баланд TF) зиёд пайдо мешаванд, аммо дар дигар ҳуҷҷатҳо (баланд IDF) кам ё зиёданд, барои он ҳуҷҷат муҳимтар мебошанд.

Формула:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

ки дар он:

• (t) — калима,
• (d) — ҳуҷҷат,
• (N) — шумораи умумии ҳуҷҷатҳо,
• (DF(t)) — шумораи ҳуҷҷатҳо, ки калимаи (t) дар онҳо ҳаст.

TF-IDF дар ҷустуҷӯи иттилоот, таҳлили матн ва омӯзиши мошинӣ барои таъкид кардани калимаҳои калидӣ васеъ истифода мешавад.