Что хотят услышать интервьюеры:

Важно показать, что backfill исторических признаков — это не просто «дописать старые значения», а процесс с контролем на утечки, версионирование и воспроизводимость. Обычно ожидают упоминания point-in-time correctness, согласованности с тем, что было известно на момент расчёта, и автоматизации пересчёта при изменении логики признаков. Также важно понимать, как не сломать обучение и inference при ретроспективных изменениях.

Определение:

Backfill исторических признаков — это пересчёт признаков для прошлых дат на основе актуальной логики, источников данных или исправленных ошибок в пайплайне. Основная цель — получить корректную историческую витрину признаков, которую можно использовать для обучения моделей, валидации и аудита.

Ключевое требование — рассчитывать признаки так, как они были бы известны на тот момент времени, а не с использованием будущей информации. Иначе возникает data leakage, и качество модели на офлайн-метриках будет завышено.

Пример использования:

Допустим, для кредитного скоринга считается признак num_payments_last_30d по транзакциям клиента. В логике нашли ошибку: раньше в расчёт попадали транзакции за 31–32 день, поэтому все исторические значения нужно пересчитать.

from datetime import datetime, timedelta

def calc_num_payments_last_30d(transactions, as_of_date):
    start_date = as_of_date - timedelta(days=30)
    return sum(
        1 for t in transactions
        if start_date <= t["date"] < as_of_date and t["type"] == "payment"
    )

# Backfill для набора исторических дат
historical_dates = [
    datetime(2024, 1, 1),
    datetime(2024, 2, 1),
    datetime(2024, 3, 1),
]

transactions = [
    {"date": datetime(2023, 12, 20), "type": "payment"},
    {"date": datetime(2023, 12, 28), "type": "payment"},
    {"date": datetime(2024, 1, 15), "type": "payment"},
]

backfilled = {
    d: calc_num_payments_last_30d(transactions, d)
    for d in historical_dates
}

Пояснение кода:

Код показывает принцип расчёта признака на фиксированную дату as_of_date. Сначала задаётся окно последних 30 дней, затем считаются только транзакции внутри этого окна и только нужного типа. Дальше тот же расчёт выполняется для набора исторических дат — это и есть backfill.

На практике такой расчёт обычно выполняют не в памяти, а в Spark, SQL или batch-пайплайне, где:

фиксируется дата среза,
выбираются только доступные на эту дату данные,
рассчитывается признак,
сохраняется версия результата с датой расчёта и версией логики.

Ключевые моменты:

Backfill должен быть point-in-time correct: использовать только данные, доступные на момент as_of_date.
Нельзя допускать утечки будущего: это искажает обучение и офлайн-оценку.
Нужны версионирование логики и данных, чтобы понимать, какой именно расчёт был применён.
Полезно хранить метаданные расчёта: дата среза, версия пайплайна, источник данных, время пересчёта.
При изменении формулы признака важно определить, нужен ли полный backfill или только пересчёт затронутого диапазона.
Для больших объёмов данных backfill обычно делают батчами и с контролем идемпотентности, чтобы безопасно повторять расчёт.

Какие практики при перепрогоне исторических признаков (backfill)?