Sınıflandırma bağlamında H(X) nedir, örneğin entropi?
sobes.tech yapay zeka
AI'dan gelen yanıt
H(X) — rastgele değişken X'in entropisidir, X dağılımında belirsizlik veya kaos ölçüsüdür. Sınıflandırma bağlamında, entropi, X değişkeninin (örneğin, bir nesnenin sınıfı) ne kadar tahmin edilemez olduğunu gösterir.
Resmi olarak, olasılıkları p(x) olan ayrık rastgele değişken X için:
[ H(X) = -\sum_{x} p(x) \log_2 p(x) ]
Entropi ne kadar yüksekse, belirsizlik o kadar fazladır. Sınıflandırma görevlerinde, entropi, verilerin bölünme kalitesini değerlendirmek için kullanılır (örneğin, karar ağaçlarında), burada amaç, bölünmeden sonra entropiyi azaltmak, yani sınıfları daha homojen hale getirmektir.
Örnek: Bir örneklemde %50 A sınıfı ve %50 B sınıfı varsa, entropi maksimumdur (1 bit). Tüm nesneler aynı sınıfa aitse, entropi 0'dır.