Какие критерии разбиения используются в деревьях решений (например, энтропийный критерий)? Можете назвать другие?

В деревьях решений критерии разбиения используются для выбора оптимального признака и порога, по которым происходит разделение данных на подмножества, чтобы максимизировать информативность разбиения.

Энтропийный критерий (Information Gain) — измеряет уменьшение энтропии (неопределённости) после разбиения. Чем больше уменьшение энтропии, тем лучше разбиение.

Другие популярные критерии:

• Критерий Джини (Gini impurity) — мера неоднородности выборки. Чем ниже, тем лучше.
• Критерий прироста информации (Information Gain Ratio) — модификация энтропийного критерия, учитывающая количество и размер подмножеств, чтобы избежать смещения в сторону признаков с большим числом значений.
• Критерий ошибки (Misclassification error) — доля неверно классифицированных объектов в узле.

Пример вычисления энтропии:

import math

def entropy(class_counts):
    total = sum(class_counts)
    return -sum((count/total) * math.log2(count/total) for count in class_counts if count > 0)

# Пример: 9 объектов класса A и 5 класса B
print(entropy([9, 5]))  # Вычисляет энтропию исходного узла

Выбор критерия зависит от задачи и предпочтений, но чаще всего используются энтропия и критерий Джини.