Ի՞նչ են TF և IDF կոմպոնենտները:

TF և IDF հիմնական բաղադրիչներն են TF-IDF մեթոդի, որը օգտագործվում է բառերի կարևորությունը գնահատելու համար փաստաթղթերում:

• TF (Տերմինի հաճախականություն) — տերմինի հաճախականությունը կոնկրետ փաստաթղթում: Ցույց է տալիս, թե որքան հաճախ է բառը հանդիպում այդ տեքստում:

• IDF (Հետադարձ փաստաթղթի հաճախականություն) — հետադարձ փաստաթղթի հաճախականությունը, չափում է, թե որքան հազվագյուտ կամ տարածված է բառը ամբողջ փաստաթղթերի հավաքածուում:

Իդեան այն է, որ բառերը, որոնք հաճախ են հանդիպում կոնկրետ փաստաթղթում (բարձր TF), բայց հազվագյուտ են մյուս փաստաթղթերում (բարձր IDF), ավելի կարևոր են այդ փաստաթղթի համար:

Ֆորմուլա:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

որտեղ՝

• (t) — տերմին,
• (d) — փաստաթուղթ,
• (N) — ընդհանուր փաստաթղթերի թիվը,
• (DF(t)) — փաստաթղթերի թիվը, որոնք պարունակում են տերմինը (t):

TF-IDF լայնորեն օգտագործվում է տեղեկատվական որոնումներում, տեքստի վերլուծության և մեքենայական ուսուցման մեջ հիմնական բառերը առանձնացնելու համար։