Как дерево возвращает вероятность принадлежности объекта к классу?

В деревьях решений вероятность принадлежности объекта к классу обычно определяется на основе распределения классов в листовом узле, в который попадает объект.

Когда объект проходит по дереву, он в конечном итоге оказывается в одном из листовых узлов. В этом узле хранятся обучающие примеры с известными классами. Вероятность класса вычисляется как доля объектов данного класса среди всех объектов в этом листе.

Например, если в листовом узле 100 объектов, из которых 70 принадлежат классу A, а 30 — классу B, то вероятность принадлежности нового объекта к классу A будет 0.7, а к классу B — 0.3.

Такой подход позволяет не только классифицировать объект, но и оценивать уверенность модели в предсказании.

# Пример на Python с использованием sklearn
from sklearn.tree import DecisionTreeClassifier

X = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
clf = DecisionTreeClassifier().fit(X, y)

# Вероятность принадлежности к классам для нового объекта
probs = clf.predict_proba([[1.5]])
print(probs)  # Например, [[0.5, 0.5]]