Junior
107
Ispričaj mi o svom radnom iskustvu: zadaci, tehnološki stack
Компаније где су питане
МодульБанк
Одговор од АИ
sobes.tech АИ
В моём опыте работы Data Engineer я занимался обработкой и трансформацией больших объёмов данных для аналитики и отчётности. Основные задачи включали:
- Разработку и поддержку ETL-процессов
- Оптимизацию загрузки данных из различных источников
- Автоматизацию пайплайнов данных
Стек технологий, с которым работал:
- Язык Python для написания скриптов и обработки данных
- Apache Airflow для оркестрации задач
- Базы данных: PostgreSQL, ClickHouse
- Облачные сервисы для хранения и обработки данных
Например, реализовывал пайплайн, который ежедневно загружал данные из API, очищал и загружал их в аналитическую базу для дальнейшего использования командой аналитиков.