Comment se déroule le processus de construction de l'arbre de décision ? Quels critères de division connaissez-vous ?

L'arbre de décision est construit en divisant séquentiellement l'ensemble de données initial en sous-ensembles, qui deviennent des nœuds de l'arbre. À chaque étape, une caractéristique et un seuil (pour les caractéristiques numériques) sont sélectionnés, permettant de diviser les données en parties afin de maximiser l'homogénéité (pureté) des sous-ensembles par rapport à la variable cible.

Critères principaux de division :

• Indice de Gini (Gini impurity) — mesure la probabilité d'erreur lors de la classification d'un objet choisi au hasard, si celui-ci est classé aléatoirement selon la distribution des classes dans le sous-ensemble. Plus il est faible, mieux c'est.

• Gain d'information (Information Gain) — différence d'entropie avant et après la division. Plus le gain d'information est élevé, meilleure est la division.

• Rapport de gain d'information (Information Gain Ratio) — modification du gain d'information qui prend en compte le nombre et la taille des sous-ensembles pour éviter un biais vers des caractéristiques avec beaucoup de valeurs.

• Réduction de la variance (Variance reduction) — utilisée pour la régression, elle minimise la dispersion des valeurs de la variable cible dans les sous-ensembles.

Exemple de division simple par caractéristique :

# Pseudocode pour choisir la meilleure division
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)