Kuidas jagada andmeid kihtideks valideerimiseks?

Andmestikeerimise stratifikatsioon andmetes on vajalik, et säilitada klasside või teiste oluliste tunnuste proportsioonid treening- ja testkomplektides. See on eriti oluline ebavõrdsete andmete puhul.

Kuidas jagada andmeid kihtideks:

1. Määrake stratifikatsiooni jaoks võtmetunnus (näiteks sihtklass).
2. Kasutage stratifikatsioonimeetodeid nagu StratifiedKFold või train_test_split stratify-parameetriga scikit-learnis.

Näide scikit-learniga:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

Sel viisil tagate, et klasside jaotus treening- ja testkomplektides on sama, mis parandab mudeli hindamise kvaliteeti.