Pověz mi o své pracovní zkušenosti na posledních místech, jaké projekty, jaký stack?

На последних местах работы я занимался проектами, связанными с обработкой больших данных и построением ETL-процессов. В одном из проектов мы собирали и обрабатывали данные из различных источников (лог-файлы, базы данных, API) для аналитики и отчетности.

Стек включал:

• Apache Spark для распределённой обработки данных
• Apache Kafka для потоковой передачи сообщений
• Python и SQL для написания скриптов и запросов
• Airflow для оркестрации задач
• Hadoop HDFS для хранения больших объемов данных

Также имел опыт работы с облачными сервисами AWS, в частности с S3 и EMR для масштабируемой обработки данных.