რა მნიშვნელობა აქვს TF და IDF კომპონენტებს?

TF და IDF არის ძირითადი კომპონენტები TF-IDF მეთოდის, რომელიც გამოიყენება სიტყვების მნიშვნელობის შეფასებისთვის დოკუმენტებში.

• TF (ტერმინის სიხშირე) — ტერმინის სიხშირე კონკრეტულ დოკუმენტში. აჩვენებს, რამდენად ხშირად გვხვდება სიტყვა ამ ტექსტში.

• IDF (მოპარვა დოკუმენტის სიხშირე) — დოკუმენტის საპირისპირო სიხშირე, ზომავს, რამდენად იშვიათია ან გავრცელებულია სიტყვა მთელი დოკუმენტების კოლექციაში.

მიზანია, რომ სიტყვები, რომლებიც ხშირად გვხვდება კონკრეტულ დოკუმენტში (მაღალი TF), მაგრამ იშვიათია სხვა დოკუმენტებში (მაღალი IDF), უფრო მნიშვნელოვანია ამ დოკუმენტისთვის.

ფორმულა:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

სადაც:

• (t) — ტერმინი,
• (d) — დოკუმენტი,
• (N) — დოკუმენტების საერთო რაოდენობა,
• (DF(t)) — დოკუმენტების რაოდენობა, რომლებიც შეიცავენ ტერმინს (t).

TF-IDF ფართოდ გამოიყენება ინფორმაციის ძიებაში, ტექსტის ანალიზში და მანქანური სწავლების პროცესში, გასამძღვარებლად ძირითადი სიტყვები.