Ce este netezirea Dirichlet în modelul lingvistic IR?

Netedirea Dirichlet este o metodă de netezire a probabilităților în modelele lingvistice pentru căutarea informațiilor (IR), bazată pe o abordare bayesiană care utilizează o distribuție prior de Dirichlet.

În sarcinile IR, modelul lingvistic estimează probabilitatea ca un termen să apară într-un document. Problema apare atunci când termenul nu este prezent în document, iar probabilitatea devine zero, ceea ce afectează negativ clasificarea.

Netedirea Dirichlet ajustează estimările probabilităților luând în considerare frecvențele termenului în colecția de documente (corpus) și un parametru de netezire (de obicei notat cu μ). Formula:

[ P_{netezit}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

unde:

• ( c(w,d) ) — numărul de apariții ale cuvântului ( w ) în documentul ( d ),
• ( |d| ) — lungimea documentului,
• ( P(w|C) ) — probabilitatea cuvântului în colecție,
• ( \mu ) — parametru de netezire care controlează echilibrul între document și colecție.

Astfel, netezirea Dirichlet evită probabilitățile zero și îmbunătățește calitatea clasificării documentelor în sistemele IR.