Что хотят услышать интервьюеры:

ETL — это стандартный процесс подготовки данных: сначала их извлекают из источников, затем преобразуют в нужный формат и после этого загружают в целевую систему. Важно показать понимание, что это не просто перенос данных, а контролируемая очистка и нормализация. Для ML ETL критичен, потому что качество модели напрямую зависит от качества данных.

Определение:

ETL расшифровывается как Extract, Transform, Load — извлечение, преобразование, загрузка. Это процесс, который используется для сбора данных из разных источников, приведения их к единому и удобному виду и сохранения в хранилище, где они дальше используются для аналитики, отчетности или обучения моделей.

Пример использования:

Компания собирает данные о продажах из CRM, сайта и платежной системы. Сначала данные извлекаются из всех источников, затем очищаются от дублей, приводятся к единому формату дат и валют, после чего загружаются в DWH или витрину данных для отчетов и обучения модели прогноза продаж.

# Упрощённый пример ETL-пайплайна

def extract():
    crm_data = [{"order_id": 1, "amount": "100.0", "date": "2026-01-01"}]
    web_data = [{"order_id": 2, "amount": "200", "date": "01/02/2026"}]
    return crm_data + web_data

def transform(rows):
    transformed = []
    for row in rows:
        # Приведение типов и формата
        amount = float(row["amount"])
        date = row["date"].replace("/", "-")
        transformed.append({
            "order_id": row["order_id"],
            "amount": amount,
            "date": date
        })
    return transformed

def load(rows):
    # Здесь мог бы быть insert в БД или запись в хранилище
    print("Loaded rows:", rows)

data = extract()
data = transform(data)
load(data)

Пояснение кода:

В этом примере шаг extract собирает данные из двух источников и объединяет их в один список. Шаг transform приводит значения к единому формату: сумма становится числом, дата нормализуется в более一致ный вид. Шаг load показывает финальную загрузку результата в целевую систему, например в базу данных или хранилище.

Ключевые моменты:

ETL состоит из трех шагов: извлечение, преобразование, загрузка.
Основная ценность ETL — очистка, стандартизация и подготовка данных к использованию.
ETL часто применяется в DWH, BI и ML-пайплайнах.
Качество трансформаций сильно влияет на качество аналитики и моделей.
В современных системах рядом с ETL часто используют ELT, где трансформация происходит уже после загрузки в хранилище.

Что такое ETL?