O que é H(X) no contexto de classificação, por exemplo, entropia?

H(X) — é a entropia da variável aleatória X, uma medida de incerteza ou caos na distribuição de X. No contexto de classificação, a entropia mostra o quão imprevisível é a variável X (por exemplo, a classe de um objeto).

Formalmente, para uma variável aleatória discreta X com probabilidades p(x):

[ H(X) = -\sum_{x} p(x) \log_2 p(x) ]

Quanto maior a entropia, maior a incerteza. Em tarefas de classificação, a entropia é usada para avaliar a qualidade da divisão de dados (por exemplo, em árvores de decisão), onde o objetivo é diminuir a entropia após a divisão, ou seja, tornar as classes mais homogêneas.

Exemplo: se numa amostra 50% pertence à classe A e 50% à classe B, a entropia é máxima (1 bit). Se todos os objetos pertencem a uma única classe, a entropia é 0.