Расскажите про деревья решений: как строится дерево и как происходит предсказание (inference)?

Дерево решений — это модель машинного обучения, которая разбивает пространство признаков на области, соответствующие классам или значениям для регрессии.

Построение дерева происходит рекурсивно:

1. На каждом узле выбирается признак и порог, которые максимально разделяют данные по целевой переменной (например, с помощью критерия Джини, энтропии или дисперсии).
2. Данные делятся на две части по выбранному условию.
3. Процесс повторяется для каждой части, пока не достигнуты критерии остановки (максимальная глубина, минимальное количество объектов в листе и т.п.).

Для предсказания (inference) входной объект проходит по дереву от корня к листу, на каждом узле проверяется условие разделения, и в зависимости от результата выбирается следующий узел. В листовом узле возвращается предсказание — класс или числовое значение.

Пример на Python (упрощённо):

# Псевдокод для предсказания
node = tree.root
while not node.is_leaf:
    if sample[node.feature] <= node.threshold:
        node = node.left_child
    else:
        node = node.right_child
return node.prediction