Τι είναι η Bayesian target encoding;

Ο Bayesian στόχος κωδικοποίησης είναι μια μέθοδος κωδικοποίησης κατηγορικών χαρακτηριστικών σε εργασίες μηχανικής μάθησης, βασισμένη στη χρήση στατιστικών της μεταβλητής στόχου με εφαρμογή Bayesian smoothing.

Η ιδέα είναι να αντικαταστήσουμε την κατηγορία με έναν αριθμό που αντικατοπτρίζει τη μέση τιμή της μεταβλητής στόχου για αυτήν την κατηγορία, λαμβάνοντας υπόψη το γενικό μέσο όρο και τον αριθμό των παρατηρήσεων, ώστε να αποφευχθεί η υπερεκπαίδευση σε σπάνιες κατηγορίες.

Ο τύπος smoothing συνήθως φαίνεται έτσι:

[ \text{ΚωδικοποιημένηΤιμή} = \frac{\text{μέση_στόχος_για_κατηγορία} \times n + \text{παγκόσμιος_μέσος} \times k}{n + k} ]

όπου:

• (n) — αριθμός παρατηρήσεων στην κατηγορία,
• (k) — παράμετρος smoothing (βάρος της προγενέστερης μέσης τιμής),
• (\text{παγκόσμιος_μέσος}) — μέση τιμή σε ολόκληρο το δείγμα.

Αυτή η προσέγγιση βοηθά στη μείωση του θορύβου και της υπερεκπαίδευσης, ειδικά όταν εργάζεστε με σπάνιες κατηγορίες, και συχνά χρησιμοποιείται σε αλγορίθμους boosting για δομημένα δεδομένα.