O que é suavização de Dirichlet no modelo de linguagem IR?

Suavização de Dirichlet é um método de suavização de probabilidades em modelos de linguagem para pesquisa de informação (IR), baseado numa abordagem bayesiana que utiliza uma distribuição a priori de Dirichlet.

Nas tarefas de IR, o modelo de linguagem estima a probabilidade de um termo aparecer num documento. O problema ocorre quando o termo não está presente no documento, e a probabilidade torna-se zero, o que afeta negativamente a ordenação.

A suavização de Dirichlet ajusta as estimativas de probabilidade considerando as frequências do termo na coleção de documentos (corpus) e um parâmetro de suavização (normalmente denotado por μ). A fórmula:

[ P_{suavizado}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

onde:

• ( c(w,d) ) — número de ocorrências da palavra ( w ) no documento ( d ),
• ( |d| ) — comprimento do documento,
• ( P(w|C) ) — probabilidade da palavra na coleção,
• ( \mu ) — parâmetro de suavização que controla o equilíbrio entre o documento e a coleção.

Desta forma, a suavização de Dirichlet evita probabilidades nulas e melhora a qualidade da ordenação dos documentos em sistemas IR.