Was tun mit dem Datensatz vor dem Trainieren des Modells?

Bevor ein Modell mit einem Datensatz trainiert wird, sind mehrere wichtige Schritte der Datenvorverarbeitung durchzuführen:

1. Datenbereinigung — Entfernen oder Korrigieren fehlender, inkorrekter oder Ausreißer-Werte.
2. Normalisierung oder Standardisierung — Anpassen numerischer Merkmale auf eine einheitliche Skala, um die Konvergenz der Algorithmen zu verbessern.
3. Kodierung kategorialer Merkmale — Umwandlung von Kategorien in numerisches Format (One-Hot-Encoding, Label-Encoding).
4. Aufteilung in Trainings- und Testdatensatz — um die Qualität des Modells an neuen Daten zu bewerten.
5. Umgang mit Klassenungleichgewicht — Bei unausgeglichenen Klassen können Methoden wie Oversampling, Undersampling oder spezielle Metriken angewendet werden.
6. Merkmalsauswahl — Entfernen irrelevanter oder redundanter Merkmale zur Steigerung der Effizienz des Modells.

Diese Schritte helfen, die Qualität und Stabilität des Modells zu verbessern und Überanpassung zu verhindern.