Ποια κριτήρια πληροφόρησης χρησιμοποιούνται κατά την κατασκευή του δέντρου αποφάσεων;

Κατά την κατασκευή ενός δέντρου αποφάσεων, τα κριτήρια πληροφορίας βοηθούν στην επιλογή του καλύτερου χαρακτηριστικού για τη διαίρεση των δεδομένων σε κάθε κόμβο. Τα κύρια κριτήρια:

• Εντροπία Πληροφορίας και Κέρδος Πληροφορίας (Information Gain): μετρά τη μείωση της αβεβαιότητας μετά τη διαίρεση. Όσο μεγαλύτερο είναι το κέρδος πληροφορίας, τόσο καλύτερα το χαρακτηριστικό διαχωρίζει τα δεδομένα.

• Κριτήριο Gini (Gini Impurity): αξιολογεί την πιθανότητα λανθασμένης ταξινόμησης ενός τυχαία επιλεγμένου αντικειμένου. Όσο χαμηλότερη η τιμή, τόσο καλύτερος ο διαχωρισμός.

• Αναλογία Κέρδους Πληροφορίας (Gain Ratio): τροποποίηση του κέρδους πληροφορίας που λαμβάνει υπόψη τον αριθμό των κλάδων για να αποφευχθεί η μεροληψία προς χαρακτηριστικά με πολλαπλές τιμές.

• Κριτήριο Σφάλματος (Misclassification Error): ποσοστό των λανθασμένα ταξινομημένων αντικειμένων μετά τη διαίρεση.

Η επιλογή του κριτηρίου εξαρτάται από το έργο και τον αλγόριθμο (π.χ., το ID3 χρησιμοποιεί την εντροπία πληροφορίας, το CART χρησιμοποιεί το κριτήριο Gini).