Ako overiť správnosť údajov?

Kontrola správnosti údajov je dôležitým krokom v strojovom učení a spracovaní údajov. Hlavné prístupy:

• Vizuálna kontrola: tvorba grafov (histogramy, scatter ploty) na odhalenie anomálií a odľahlých hodnôt.
• Štatistická analýza: kontrola rozloženia údajov, priemerov, mediánov, štandardných odchýlok, identifikácia odľahlých hodnôt pomocou z-score alebo IQR.
• Kontrola chýbajúcich hodnôt: identifikácia a spracovanie NaN alebo prázdnych hodnôt.
• Validácia typov a formátov: zabezpečenie, že údaje zodpovedajú očakávaným typom (čísla, reťazce) a formátom (napríklad dátumy).
• Kontrola duplicitných záznamov: odstránenie alebo spracovanie duplicitných záznamov.
• Krosová kontrola s obchodnými pravidlami: napríklad, vek nemôže byť záporný.

Príklad v Pythone s pandas:

import pandas as pd

data = pd.read_csv('data.csv')

# Kontrola chýbajúcich hodnôt
print(data.isnull().sum())

# Štatistiky
print(data.describe())

# Odhalenie odľahlých hodnôt pomocou IQR
Q1 = data['feature'].quantile(0.25)
Q3 = data['feature'].quantile(0.75)
IQR = Q3 - Q1
outliers = data[(data['feature'] < Q1 - 1.5 * IQR) | (data['feature'] > Q3 + 1.5 * IQR)]
print(outliers)

Pravidelná kontrola údajov pomáha zlepšiť kvalitu modelu a predísť chybám počas tréningu.