Убакыттык катар моделдери үчүн маалыматтар топтомун түзүү жана текшерүүнүн өзгөчөлүктөрү кандай?
sobes.tech AI
AIден жооп
Узактырымдуу моделдер үчүн маалымат топтомдору жана текшерүүдө, маалыматтардын убакыттык көзкарандылыгын эске алуу жана келечектеги маалыматтардын өткөнгө агып киришин алдын алуу маанилүү.
Негизги өзгөчөлүктөр:
-
Жылжуу терезе (Sliding window) — үзгүлтүксүз убакыт интервалдарынан окутуу мисалдарын түзүү, анда кирүү — алдынкы маанилер, чыгуу — кийинки кадам.
-
Маалыматтарды убакытка ылайык бөлүү — маалыматтар катуу түрдө окутуу, текшерүү жана тест бөлүмдөрүнө убакыт боюнча бөлүнөт, модел окутуу учурунда келечектеги маалыматтарды көрбөсүн деп.
-
Убакыттык тартипти эске алуу менен текшерүү:
- TimeSeriesSplit сыяктуу ыкмаларды колдонуу, алар маалыматтардын тартибин эске алып үзгүлтүксүз бөлүштүрүүлөрдү түзөт.
- Кездейсөңүз аралаштыруу (shuffle) болтурбоо, анткени бул убакыттык түзүлүштү бузат.
-
Маалыматтардын сезондуулугу жана тренддери менен иштөө — өзгөчөлүктөрдү түзүүдө убакыттык өзгөчөлүктөр (жума күнү, саат, майрамдар) эске алынат.
-
Жоголуп кеткен маанилер жана аномалияларды иштетүү — туура алдын ала иштетүү маанилүү, анткени убакыттык рядына мындай бузулуштар сезимтал.
Мисал бөлүштүрүү:
import pandas as pd
from sklearn.model_selection import TimeSeriesSplit
data = pd.read_csv('timeseries.csv', parse_dates=['date'])
data = data.sort_values('date')
# Тарыхка ылайык окутуу жана тест бөлүү
train = data[data['date'] < '2023-01-01']
test = data[data['date'] >= '2023-01-01']
# TimeSeriesSplit аркылуу кросс-валидация
tscv = TimeSeriesSplit(n_splits=5)
for train_index, val_index in tscv.split(train):
train_fold = train.iloc[train_index]
val_fold = train.iloc[val_index]
# моделди үйрөтүү жана текшерүү
Негизги маанилүү — хронологиялык тартипти сактоо жана келечектеги маалыматтардын өткөнгө агып киришин алдын алуу.