Məlumatların düzgünlüyünü necə yoxlamaq olar?

Məlumatların düzgünlüyünün yoxlanması maşın öyrənməsi və məlumatların emalı mərhələsində vacib bir addımdır. Əsas yanaşmalar:

• Vizual yoxlama: anomaliyaları və çıxış dəyərlərini aşkar etmək üçün qrafiklər (histogramlar, scatter plotlar) qurmaq.
• Statistik analiz: məlumatların paylanmasını, orta, median, standart sapma və z-score və ya IQR istifadə edərək çıxış dəyərlərini yoxlama.
• Əskik dəyərlərin yoxlanması: NaN və ya boş dəyərləri aşkar etmək və işləmək.
• Növlər və formatların doğruluğu: məlumatların gözlənilən növlərə (rəqəmlər, sətirlər) və formatlara (məsələn, tarixlər) uyğun olub-olmadığını yoxlama.
• Təkrarlanan qeydlərin yoxlanması: təkrarlanan qeydləri silmək və ya işləmək.
• Biznes qaydaları ilə kross yoxlama: məsələn, yaş mənfi ola bilməz.

Python və pandas ilə nümunə:

import pandas as pd

data = pd.read_csv('data.csv')

# Əskik dəyərlərin yoxlanması
print(data.isnull().sum())

# Statistikalar
print(data.describe())

# IQR ilə çıxış dəyərlərinin aşkarlanması
Q1 = data['feature'].quantile(0.25)
Q3 = data['feature'].quantile(0.75)
IQR = Q3 - Q1
outliers = data[(data['feature'] < Q1 - 1.5 * IQR) | (data['feature'] > Q3 + 1.5 * IQR)]
print(outliers)

Məlumatların müntəzəm yoxlanması modelin keyfiyyətini artırmağa və təlim zamanı səhvlərin qarşısını almağa kömək edir.