На последних местах работы я занимался проектами, связанными с обработкой больших данных и построением ETL-процессов. В одном из проектов мы собирали и обрабатывали данные из различных источников (лог-файлы, базы данных, API) для аналитики и отчетности.

Стек включал:

Apache Spark для распределённой обработки данных
Apache Kafka для потоковой передачи сообщений
Python и SQL для написания скриптов и запросов
Airflow для оркестрации задач
Hadoop HDFS для хранения больших объемов данных

Также имел опыт работы с облачными сервисами AWS, в частности с S3 и EMR для масштабируемой обработки данных.

Расскажи о своём опыте работы на последних местах, какие проекты, какой стек?