Τι είναι τα DeepSpeed ZeRO Stage 1, 2, 3;

DeepSpeed ZeRO (Μηδενική Πλεονασματική Βελτιστοποιητής) είναι μια τεχνολογία βελτιστοποίησης κατανεμημένης εκπαίδευσης μεγάλων μοντέλων, που μειώνει τις απαιτήσεις μνήμης και αυξάνει την κλιμάκωση. Διαχωρίζεται σε τρία στάδια:

• Στάδιο 1: Διαχωρισμός του βελτιστοποιητή — οι παράμετροι του βελτιστοποιητή (γραμμές, στιγμές) διανέμονται μεταξύ GPU, μειώνοντας την διπλοτυπία.
• Στάδιο 2: Διαχωρισμός του βελτιστοποιητή και των γραμμών — εκτός από τον βελτιστοποιητή, και οι γραμμές διανέμονται, μειώνοντας περαιτέρω την κατανάλωση μνήμης.
• Στάδιο 3: Πλήρης διαχωρισμός παραμέτρων, βελτιστοποιητή και γραμμών — κάθε GPU αποθηκεύει μόνο ένα μέρος των παραμέτρων του μοντέλου, του βελτιστοποιητή και των γραμμών, επιτρέποντας την εκπαίδευση μοντέλων που δεν χωράνε στη μνήμη μιας μόνο συσκευής.

Έτσι, με κάθε επόμενο στάδιο, η διπλοτυπία δεδομένων στη μνήμη μειώνεται, επιτρέποντας την αποτελεσματική κλιμάκωση της εκπαίδευσης σε μεγάλο αριθμό GPU.