Middle
Ako rozdeliť údaje na vrstvy pre validáciu?
sobes.tech AI
Odpoveď od AI
Stratifikácia dát počas validácie je nevyhnutná na zachovanie pomerov tried alebo iných dôležitých znakov v tréningových a testovacích súboroch. To je obzvlášť dôležité pri nevyvážených dátach.
Ako rozdeliť dáta na vrstvy:
- Určite kľúčový znak pre stratifikáciu (napríklad cieľovú triedu).
- Použite metódy stratifikovaného rozdelenia, ako sú StratifiedKFold alebo train_test_split s parametrom stratify v scikit-learn.
Príklad so scikit-learn:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, stratify=y, random_state=42
)
Tým zabezpečíte, že rozdelenie tried v tréningových a testovacích súboroch bude rovnaké, čo zlepší kvalitu hodnotenia modelu.