IR dil modelinde Dirichlet yumuşatma nedir?

Dirichlet düzeltmesi, bilgi arama (IR) dil modellerinde olasılıkların yumuşatılması için kullanılan, Dirichlet ön dağılımını kullanan bayes tabanlı bir yaklaşıma dayanan bir yöntemdir.

IR görevlerinde, dil modeli bir terimin bir belgede ortaya çıkma olasılığını tahmin eder. Sorun, terim belgeden yoksa ortaya çıkar ve olasılık sıfır olur, bu da sıralamayı olumsuz etkiler.

Dirichlet düzeltmesi, terimin belge koleksiyonundaki (korpus) sıklıklarını ve genellikle μ ile gösterilen bir yumuşatma parametresini dikkate alarak olasılık tahminlerini ayarlar. Formülü:

[ P_{yumuşatılmış}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

Burada:

• ( c(w,d) ) — ( w ) kelimesinin ( d ) belgede kaç kez geçtiği,
• ( |d| ) — belgenin uzunluğu,
• ( P(w|C) ) — kelimenin koleksiyondaki olasılığı,
• ( \mu ) — belge ile koleksiyon arasındaki dengeyi kontrol eden yumuşatma parametresi.

Bu şekilde, Dirichlet düzeltmesi sıfır olasılıkları önler ve IR sistemlerindeki belgelerin sıralama kalitesini artırır.