Čo sú modely odchýlky od náhodnosti?

Modely odchýlenia od náhodnosti sú triedou modelov v informačnom vyhľadávaní, ktoré hodnotia relevantnosť dokumentov na základe odchýlky rozdelenia termínov v dokumente od náhodného rozdelenia. Myšlienka je, že významné termíny sa v dokumente vyskytujú častejšie, než sa očakávalo pri náhodnom rozdelení, a táto odchýlka (odchýlka) sa používa na zoradenie.

Napríklad modely Divergence From Randomness (DFR) používajú štatistické miery, ako je pravdepodobnosť výskytu termínu v dokumente pri náhodnom rozdelení, a porovnávajú ich s reálnou frekvenciou. Čím väčšia odchýlka, tým je termín dôležitejší pre dokument.

Toto umožňuje presnejšie hodnotenie relevantnosti, zohľadňujúc štatistiku rozdelenia slov, a nie len jednoduchú frekvenciu alebo TF-IDF.