TF va IDF komponentlari nima anglatadi?

TF va IDF — TF-IDF usulining asosiy komponentlari bo'lib, hujjatlarda so'zlarning ahamiyatini baholash uchun ishlatiladi.

• TF (Term Frequency) — muayyan hujjatda terminning chastotasi. Bu so'zning matnda qancha tez-tez uchrashini ko'rsatadi.

• IDF (Inverse Document Frequency) — teskari hujjat chastotasi, so'zning butun hujjatlar to'plamida qanchalik kam yoki keng tarqalganligini o'lchaydi.

G'oya shundaki, muayyan hujjatda ko'p uchraydigan (yuqori TF), lekin boshqa hujjatlarda kam uchraydigan (yuqori IDF) so'zlar bu hujjat uchun katta ahamiyatga ega.

Formulasi:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

bu yerda:

• (t) — termin,
• (d) — hujjat,
• (N) — umumiy hujjatlar soni,
• (DF(t)) — terminni o'z ichiga olgan hujjatlar soni.

TF-IDF keng qo'llaniladi axborot qidiruvi, matn tahlili va mashina o'qitishda kalit so'zlarni ajratib ko'rsatish uchun.