Что хотят услышать интервьюеры:

Для временных рядов обычный random split не подходит, потому что он смешивает прошлое и будущее и даёт завышенную оценку качества. Корректная валидация должна сохранять хронологический порядок и обучать модель только на данных, которые были доступны на момент прогноза. Обычно ожидают упоминание holdout по времени, скользящего окна и walk-forward validation.

Определение:

Способы валидации, которые исключают просмотр в будущее, — это методы разбиения данных, где обучающая выборка всегда предшествует валидационной или тестовой по времени.
Главный принцип: модель не должна видеть значения из будущих периодов ни напрямую, ни через признаки, построенные с утечкой информации.
К таким подходам относят:

временной holdout split;
expanding window validation;
rolling/sliding window validation;
walk-forward backtesting;
blocked time-series split без перемешивания.

Пример использования:

Допустим, нужно прогнозировать спрос на день вперёд по продажам магазина.
Данные с января по октябрь используют для обучения, ноябрь — для валидации, декабрь — для финального теста.
Если нужна более надёжная оценка, делают несколько последовательных фолдов: обучают на первых месяцах, проверяют на следующем месяце, затем расширяют окно и повторяют.

import pandas as pd
from sklearn.model_selection import TimeSeriesSplit

X = pd.DataFrame({"feature": range(100)})
y = pd.Series(range(100))

tscv = TimeSeriesSplit(n_splits=5)

for train_idx, val_idx in tscv.split(X):
    X_train, X_val = X.iloc[train_idx], X.iloc[val_idx]
    y_train, y_val = y.iloc[train_idx], y.iloc[val_idx]
    # train model on X_train, y_train
    # evaluate on X_val, y_val

Пояснение кода:

В этом примере используется TimeSeriesSplit, который не перемешивает данные и формирует фолды по времени.
На каждом шаге обучающая часть находится раньше валидационной, поэтому модель не получает доступ к будущим наблюдениям при обучении.
Сначала модель обучается на более раннем отрезке ряда, затем проверяется на следующем временном блоке, и так несколько раз.
Это приближает оценку к реальному сценарию прогнозирования.

Ключевые моменты:

Нельзя использовать случайное перемешивание данных для временных рядов.
Обучающая выборка должна быть строго раньше валидационной и тестовой по времени.
TimeSeriesSplit, expanding window и rolling window — базовые корректные подходы.
При построении признаков тоже важно избегать утечек: лаги, скользящие средние и агрегации должны использовать только прошлое.
Для честной оценки полезно делать несколько последовательных фолдов, а не один случайный split.
Финальный тест лучше держать на самом последнем временном интервале, который не участвовал в подборе модели.

Какие способы валидации моделей временных рядов исключают просмотр в будущее при обучении?