Τι είναι το MT-Bench και πώς υπολογίζεται η βαθμολογία;

Το MT-Bench είναι ένα benchmark για την αξιολόγηση της απόδοσης και της ποιότητας μεγάλων μοντέλων γλώσσας (LLM). Αποτελείται από ένα σύνολο εργασιών και δοκιμών που προτείνονται στα μοντέλα για να μετρηθούν οι ικανότητές τους στην κατανόηση, στη δημιουργία κειμένου και στην επίλυση διαφόρων εργασιών.

Η αξιολόγηση στο MT-Bench βασίζεται συνήθως στην ποιότητα των απαντήσεων του μοντέλου σε σύγκριση με τις αναφορικές απαντήσεις ή τις απαντήσεις άλλων μοντέλων. Οι μετρικές μπορεί να περιλαμβάνουν ακρίβεια, πληρότητα, συνοχή, καθώς και υποκειμενικές αξιολογήσεις της ποιότητας της δημιουργίας (π.χ., από ανθρώπινους σχολιαστές).

Έτσι, το MT-Bench βοηθά στη σύγκριση διαφορετικών LLM με βάση τις πραγματικές τους δυνατότητες και στην αναγνώριση των δυνατών και αδύνατων σημείων των μοντέλων σε διάφορα σενάρια χρήσης.