Πώς θα ρυθμίσουμε τις παραμέτρους στο gradient boosting; Ποιες παράμετροι υπάρχουν και τι θα ρυθμίσεις πρώτα;

Στο gradient boosting, οι βασικές παράμετροι για τη διαμόρφωση είναι:

• learning_rate (ρυθμός μάθησης) — επηρεάζει το μέγεθος του βήματος κατά την ενημέρωση του μοντέλου. Επιλέγεται συνήθως πρώτο, καθώς πολύ μεγάλο μπορεί να οδηγήσει σε υπερεκπαίδευση, και πολύ μικρό σε μακρύ χρόνο εκπαίδευσης.
• n_estimators (αριθμός δέντρων) — αριθμός βασικών μοντέλων. Με χαμηλό learning_rate, αυξάνεται συνήθως το n_estimators.
• max_depth (μέγιστο βάθος δέντρου) — ελέγχει την πολυπλοκότητα κάθε δέντρου, επηρεάζει την υπερεκπαίδευση.
• min_child_weight — ελάχιστος αριθμός δειγμάτων σε ένα φύλλο, βοηθά στην καταπολέμηση της υπερεκπαίδευσης.
• subsample και colsample_bytree — ποσοστό δειγμάτων και χαρακτηριστικών για την κατασκευή κάθε δέντρου, επηρεάζουν την ποικιλομορφία των μοντέλων και την ικανότητα γενίκευσης.

Συνήθως, επιλέγονται πρώτα το learning_rate και το n_estimators, και στη συνέχεια το max_depth και άλλες παράμετροι για την καταπολέμηση της υπερεκπαίδευσης και τη βελτίωση της ποιότητας.