Comment le mélange de caractéristiques influence-t-il la qualité du modèle?

L’interaction des caractéristiques (feature interaction) permet au modèle de prendre en compte les relations entre les caractéristiques qui, prises séparément, peuvent être peu informatives, mais qui ensemble donnent des signaux importants.

Cela peut améliorer la qualité du modèle, surtout si les dépendances entre les caractéristiques sont non linéaires. Par exemple, dans une tâche de scoring de crédit, la combinaison de l’âge et du revenu peut être plus informative que chaque caractéristique séparément.

Cependant, une interaction excessive peut conduire à un surapprentissage et augmenter la dimensionnalité de l’espace des caractéristiques, ce qui détériore la capacité de généralisation du modèle et augmente le temps d’entraînement.

Il est donc important de trouver un équilibre : utiliser des méthodes de sélection de caractéristiques, la régularisation et vérifier la qualité du modèle sur des données de validation.