Τι είναι οι Tensor Cores και ποιες λειτουργίες επιταχύνουν;

Οι Tensor Cores είναι εξειδικευμένες μονάδες υλικού σε σύγχρονες GPU (π.χ., NVIDIA Volta, Turing, Ampere), σχεδιασμένες για την επιτάχυνση των λειτουργιών με τένσορες, ιδιαίτερα σε εργασίες μηχανικής μάθησης.

Είναι βελτιστοποιημένες για την εκτέλεση μαθηματικών λειτουργιών με χαμηλή ακρίβεια (FP16, INT8), γεγονός που αυξάνει σημαντικά την απόδοση κατά την εκπαίδευση και την inference νευρωνικών δικτύων.

Οι κύριες λειτουργίες που επιταχύνουν τους Tensor Cores είναι:

• Πολλαπλασιασμός μητρών (Matrix Multiply)
• Συγκέντρωση μητρών (Matrix Accumulate)

Αυτό επιτρέπει την ταχύτερη εκτέλεση υπολογισμών σε βαθιά νευρωνικά δίκτυα, ιδιαίτερα σε συνελικτικά και πλήρως συνδεδεμένα στρώματα.

Παράδειγμα: κατά την εκπαίδευση ενός μοντέλου βαθιάς μάθησης με frameworks που υποστηρίζουν Tensor Cores (όπως TensorFlow, PyTorch), οι μαθηματικοί υπολογισμοί με μητρές πραγματοποιούνται πιο γρήγορα, μειώνοντας τον χρόνο εκπαίδευσης.