Mi az a nyelvi modellalapú IR megközelítés (Ponte-Croft)?

A nyelvi modell megközelítés az információ-visszakereséshez (IR), amelyet Ponte és Croft javasolt, a dokumentumok valószínűségi modellezésén alapul. Az ötlet az, hogy minden dokumentumhoz egy nyelvi modellt hozunk létre — egy valószínűségi eloszlást a dokumentum jellemző szavairól.

Keresés során a rendszer értékeli annak valószínűségét, hogy a dokumentum nyelvi modellje generálta a megadott lekérdezést. A dokumentumokat ennek a valószínűségnek megfelelően rangsorolják: minél magasabb a valószínűség, annál relevánsabb a dokumentum.

Példa: ha a lekérdezés "gépi tanulás", akkor az a dokumentum, amelyben gyakran fordulnak elő a "gép" és "tanulás" szavak, magas értékelést kap.

Ez eltér a klasszikus modellektől, amelyek kulcsszóegyezéseken vagy a dokumentumok fordított gyakoriságán (TF-IDF) alapulnak. A nyelvi modell megközelítés lehetővé teszi a szavak statisztikáinak és eloszlásának rugalmasabb figyelembevételét a dokumentumokban.