Wie überprüft man die Richtigkeit der Daten?

Die Überprüfung der Datenintegrität ist ein wichtiger Schritt im maschinellen Lernen und in der Datenverarbeitung. Die wichtigsten Ansätze:

• Visuelle Inspektion: Erstellung von Diagrammen (Histogramme, Streudiagramme) zur Erkennung von Anomalien und Ausreißern.
• Statistische Analyse: Überprüfung der Datenverteilung, Mittelwerte, Mediane, Standardabweichungen, Erkennung von Ausreißern mit z-Score oder IQR.
• Überprüfung auf fehlende Werte: Identifikation und Behandlung von NaN oder leeren Werten.
• Validierung von Typen und Formaten: Sicherstellen, dass die Daten den erwarteten Typen (Zahlen, Strings) und Formaten entsprechen (z.B. Daten).
• Duplikate überprüfen: Entfernen oder Behandlung von doppelten Einträgen.
• Kreuzprüfung mit Geschäftsregeln: z.B. darf das Alter nicht negativ sein.

Beispiel in Python mit pandas:

import pandas as pd

data = pd.read_csv('data.csv')

# Überprüfung auf fehlende Werte
print(data.isnull().sum())

# Statistiken
print(data.describe())

# Erkennung von Ausreißern mittels IQR
Q1 = data['feature'].quantile(0.25)
Q3 = data['feature'].quantile(0.75)
IQR = Q3 - Q1
outliers = data[(data['feature'] < Q1 - 1.5 * IQR) | (data['feature'] > Q3 + 1.5 * IQR)]
print(outliers)

Regelmäßige Datenüberprüfungen helfen, die Modellqualität zu verbessern und Fehler beim Training zu vermeiden.