Mi az H(X) a klasszifikáció kontextusában, például entrópia?

H(X) — ez az X valószínűségi változójának entrópiája, az X eloszlásában lévő bizonytalanság vagy káosz mértéke. Osztályozási kontextusban az entrópia megmutatja, hogy mennyire előre nem látható az X változó (például egy objektum osztálya).

Formálisan, egy p(x) valószínűségekkel rendelkező diszkrét X változóra:

[ H(X) = -\sum_{x} p(x) \log_2 p(x) ]

Minél magasabb az entrópia, annál nagyobb a bizonytalanság. Osztályozási feladatokban az entrópiát arra használják, hogy értékeljék az adatok felosztásának minőségét (például döntési fákban), ahol a cél az entrópia csökkentése a felosztás után, azaz a osztályok homogénebbé tétele.

Példa: ha egy mintában az A osztályba tartozók aránya 50%, és a B osztályba tartozók aránya is 50%, az entrópia maximális (1 bit). Ha minden objektum ugyanahhoz az osztályhoz tartozik, az entrópia 0.