TF və IDF komponentləri nə deməkdir?
sobes.tech Süni İntellekt
AI-dan cavab
TF və IDF, TF-IDF metodunun əsas komponentləridir və sənədlərdə sözlərin əhəmiyyətini qiymətləndirmək üçün istifadə olunur.
-
TF (Term Frequency) — müəyyən bir sənəddə terminlərin tezliyi. Bu, sözün bu mətnə nə qədər tez düşdüyünü göstərir.
-
IDF (Inverse Document Frequency) — sənədin tərs tezliyi, sözün bütün sənəd kolleksiyasında nə qədər nadir və ya yaygın olduğunu ölçür.
Fikir odur ki, müəyyən sənəddə çox rast gəlinən (yüksək TF), lakin digər sənədlərdə nadir rast gəlinən (yüksək IDF) sözlər bu sənəd üçün daha vacibdir.
Formul:
[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]
burada:
- (t) — termin,
- (d) — sənəd,
- (N) — ümumi sənəd sayı,
- (DF(t)) — termin ehtiva edən sənədlərin sayı.
TF-IDF məlumat axtarışında, mətn analizi və maşın öyrənməsində açar sözləri vurğulamaq üçün geniş istifadə olunur.