Τι είναι το FP8 και πού εφαρμόζεται στην εκπαίδευση/αποτίμηση;

Το FP8 είναι μια μορφή κινητής υποδιαστολής που χρησιμοποιεί μόνο 8 bits για την αποθήκευση της τιμής. Συνήθως αποτελείται από 1 bit σήματος, μερικά bits για τον εκθέτη και τη mantissa, αλλά η ακριβής δομή μπορεί να διαφέρει.

Στην μηχανική μάθηση, το FP8 χρησιμοποιείται για την βελτιστοποίηση των υπολογισμών και τη μείωση του όγκου μνήμης, ειδικά κατά την εκπαίδευση και την επεξεργασία μεγάλων μοντέλων, όπως τα LLM (Μεγάλα Μοντέλα Γλώσσας). Η χρήση του FP8 επιτρέπει την επιτάχυνση των υπολογισμών και τη μείωση της κατανάλωσης ενέργειας, διατηρώντας παράλληλα μια αποδεκτή ακρίβεια.

Η χρήση του FP8 είναι ιδιαίτερα σημαντική σε υλικό επιταχυντές (π.χ., GPU και TPU), όπου η υποστήριξη χαμηλής ακρίβειας βοηθά στην αύξηση της διαπερατότητας και της αποδοτικότητας.

Παράδειγμα: κατά την εκπαίδευση ενός νευρωνικού δικτύου, το FP8 μπορεί να χρησιμοποιηθεί για την αποθήκευση βαρών και ενεργοποιήσεων, μειώνοντας τις απαιτήσεις μνήμης και επιταχύνοντας τις λειτουργίες πολλαπλασιασμού πινάκων.