Что такое критерий ветвления в деревьях?

Критерий ветвления в деревьях решений — это метрика или правило, по которому выбирается признак и значение для разделения данных на подмножества на каждом узле дерева. Цель — максимизировать однородность (чистоту) полученных подмножеств, чтобы улучшить качество классификации или регрессии.

Примеры критериев ветвления:

• Индекс Джини (Gini impurity) — измеряет вероятность ошибочной классификации случайно выбранного объекта из множества.
• Информационная энтропия (Information Gain) — измеряет уменьшение неопределённости после разделения.
• Критерий по ошибке (Misclassification error) — доля неправильно классифицированных объектов.

Выбор критерия влияет на структуру дерева и качество модели. Например, в алгоритме CART обычно используется индекс Джини, а в ID3 — информационная энтропия.