Υπήρξε προετοιμασία δεδομένων, καθαρισμός ειδικών χαρακτήρων ή απλώς ό,τι έλεγε ο χειριστής;

Στα περισσότερα έργα επεξεργασίας ομιλίας και μηχανικής μάθησης, η προετοιμασία δεδομένων είναι ένα υποχρεωτικό στάδιο. Συνήθως, οι ηχογραφήσεις ή οι μεταγραφές καθαρίζονται από ειδικούς χαρακτήρες, θόρυβο και σφάλματα αναγνώρισης, ώστε το μοντέλο να εκπαιδεύεται σε πιο καθαρό και σχετικό υλικό. Για παράδειγμα, αφαιρούνται περιττά σημεία στίξης, διορθώνονται ορθογραφικά λάθη και κανονικοποιούνται οι λέξεις (μέσω stemming ή λημματοποίησης). Αν τα δεδομένα είναι ομιλία, συχνά εφαρμόζεται φιλτράρισμα θορύβου και κανονικοποίηση της έντασης.

Αν, από την άλλη, χρησιμοποιείται άμεσα αυτό που είπε ο χειριστής, χωρίς επεξεργασία, η ποιότητα του μοντέλου και των προβλέψεών του μπορεί να υποφέρει σημαντικά λόγω 'βρώμικων' δεδομένων. Γι' αυτό, η προετοιμασία και ο καθαρισμός είναι τυπικές πρακτικές.