Middle+
Ispričaj o svom radnom iskustvu na posljednjim mjestima, koje projekte, koji stack?
sobes.tech АИ
Одговор од АИ
На последних местах работы я занимался проектами, связанными с обработкой больших данных и построением ETL-процессов. В одном из проектов мы собирали и обрабатывали данные из различных источников (лог-файлы, базы данных, API) для аналитики и отчетности.
Стек включал:
- Apache Spark для распределённой обработки данных
- Apache Kafka для потоковой передачи сообщений
- Python и SQL для написания скриптов и запросов
- Airflow для оркестрации задач
- Hadoop HDFS для хранения больших объемов данных
Также имел опыт работы с облачными сервисами AWS, в частности с S3 и EMR для масштабируемой обработки данных.