Čo je H(X) v kontexte klasifikácie, napríklad entropia?

H(X) — je entropia náhodnej premennej X, meradlo neistoty alebo chaosu v rozdelení X. V kontexte klasifikácie ukazuje entropia, ako veľmi je premenna X (napríklad trieda objektu) nepredvídateľná.

Formálne, pre diskrétnu náhodnú premennú X s pravdepodobnosťami p(x):

[ H(X) = -\sum_{x} p(x) \log_2 p(x) ]

Čím vyššia je entropia, tým väčšia je neistota. V úlohách klasifikácie sa entropia používa na hodnotenie kvality rozdelenia dát (napríklad v rozhodovacích stromoch), kde cieľom je znížiť entropiu po rozdelení, teda urobiť triedy homogénnejšími.

Príklad: ak v vzorke 50% patrí do triedy A a 50% do triedy B, je entropia maximálna (1 bit). Ak všetky objekty patria do jednej triedy, je entropia 0.