Как да проверим коректността на данните?

Проверката за коректност на данните е важна стъпка в машинното обучение и обработката на данни. Основните подходи:

• Визуален преглед: създаване на графики (хистограми, scatter plot) за откриване на аномалии и извънредни стойности.
• Статистически анализ: проверка на разпределението на данните, средни стойности, медиани, стандартни отклонения, откриване на извънредни стойности с z-score или IQR.
• Проверка за липсващи стойности: идентифициране и обработка на NaN или празни стойности.
• Валидация на типове и формати: гарантиране, че данните съответстват на очакваните типове (числа, низове) и формати (например, дати).
• Проверка за дублиращи се записи: премахване или обработка на повтарящи се записи.
• Крос-верификация с бизнес правила: например, възрастта не може да бъде отрицателна.

Пример в Python с pandas:

import pandas as pd

data = pd.read_csv('data.csv')

# Проверка за липсващи стойности
print(data.isnull().sum())

# Статистики
print(data.describe())

# Откриване на извънредни стойности чрез IQR
Q1 = data['feature'].quantile(0.25)
Q3 = data['feature'].quantile(0.75)
IQR = Q3 - Q1
outliers = data[(data['feature'] < Q1 - 1.5 * IQR) | (data['feature'] > Q3 + 1.5 * IQR)]
print(outliers)

Редовната проверка на данните помага за подобряване на качеството на модела и за избягване на грешки по време на обучение.