В моём опыте работы Data Engineer я занимался обработкой и трансформацией больших объёмов данных для аналитики и отчётности. Основные задачи включали:

Разработку и поддержку ETL-процессов
Оптимизацию загрузки данных из различных источников
Автоматизацию пайплайнов данных

Стек технологий, с которым работал:

Язык Python для написания скриптов и обработки данных
Apache Airflow для оркестрации задач
Базы данных: PostgreSQL, ClickHouse
Облачные сервисы для хранения и обработки данных

Например, реализовывал пайплайн, который ежедневно загружал данные из API, очищал и загружал их в аналитическую базу для дальнейшего использования командой аналитиков.

Расскажи о своём опыте работы: задачи, стек технологий