Raqamli qiymatlarni qanday normalizatsiya qilish va chiqarib tashlash ta'sirini qanday minimallashtirish mumkin?

Raqamli ma'lumotlarni normal taqsimotga keltirish va chiqarib tashlashga ta'sirini kamaytirish uchun bir nechta yondashuvlar qo'llaniladi:

1. Ma'lumotlarni transformatsiya qilish:

   • Logarifmik transformatsiya (log(x)) — asimmetriyani kamaytiradi va katta qiymatlarni siqadi.
   • Kvadrat ildiz yoki qarama-qarshi transformatsiya — taqsimotni normallashtirishga yordam beradi.
   • Box-Cox transformatsiyasi — parametrik bo'lib, normal taqsimotga yaqinlashtirish uchun optimal parametrni tanlaydi.
   • Yeo-Johnson transformatsiyasi — Box-Cox ga o'xshash, salbiy qiymatlar bilan ham ishlaydi.

2. Chiqib tashlashlarni boshqarish:

   • Cheklash (capping) — qiymatlarni 1% va 99% percentilga chegaralash, masalan.
   • Chiqib tashlashlarni o'zgartirish — masalan, median yoki eng yaqin "normal" qiymat bilan o'zgartirish.
   • Mustahkam o'lchash usullaridan foydalanish — masalan, sklearn'dagi RobustScaler, u median va interkvartil diapazonini ishlatadi.

3. O'lchash va normalizatsiya qilish:

   • Transformatsiyalardan so'ng, ma'lumotlarni nolinchi o'rtacha va birlik dispersiyaga ega qilish uchun standartlashtirish (o'rtacha qiymatdan ayirish va standart og'ish bilan bo'lish) mumkin.

Python va sklearn kutubxonasi yordamida misol:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Chiqib tashlashlar bilan misol ma'lumotlar
data = np.array([[1], [2], [3], [4], [100]])

# Normal taqsimotga yaqinlashtirish uchun transformatsiya
pt = PowerTransformer(method='yeo-johnson')
ma'lumot_transformatsiya = pt.fit_transform(data)

# Chiqib tashlashlarni hisobga olgan holda o'lchash
scaler = RobustScaler()
ma'lumot_o'lchangan = scaler.fit_transform(ma'lumot_transformatsiya)

print(ma'lumot_o'lchangan)

Shu tarzda, transformatsiyalar va chiqib tashlash usullarini birlashtirish orqali ma'lumotlar yanada normal taqsimotga yaqinlashtirilishi va ekstremal qiymatlarning ta'siri kamaytirilishi mumkin.