TF жана IDF компоненттери эмне мааниге ээ?

TF жана IDF — TF-IDF ыкмасының негизги компоненттери, документтердеги сөздөрдүн маанилүүлүгүн баалоо үчүн колдонулат.

• TF (Терминдин Жыштыгы) — белгилүү бир документтеги терминдин жыштыгы. Бул сөздүн текстте канчалык көп кездешкенин көрсөтөт.

• IDF (Обрат Документ Жыштыгы) — документтин тескери жыштыгы, сөздүн бардык документтер топтомунда канчалык сирек же кеңири тараганын өлчөйт.

Идея — белгилүү бир документте көп кездешкен (жогорку TF), бирок башка документтерде сирек (жогорку IDF), бул сөздөр ошол документ үчүн маанилүү.

Формула:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

башта:

• (t) — термин,
• (d) — документ,
• (N) — жалпы документтердин саны,
• (DF(t)) — терминди камтыган документтердин саны.

TF-IDF маалымат издөөдө, текстти анализдө жана машиналык үйрөнүүдө ачкыч сөздөрдү белгилөө үчүн кеңири колдонулат.