Middle+
Povedz mi o svojej pracovnej skúsenosti na posledných miestach, aké projekty, aký stack?
sobes.tech AI
Odpoveď od AI
V posledných pracovných pozíciách som sa zaoberal projektmi súvisiacimi so spracovaním veľkých dát a budovaním ETL procesov. V jednom z projektov sme zbierali a spracovávali dáta z rôznych zdrojov (logové súbory, databázy, API) na analytiku a reporting.
Stack zahŕňal:
- Apache Spark pre distribuované spracovanie dát
- Apache Kafka pre streamovanie správ
- Python a SQL na písanie skriptov a dopytov
- Airflow na orchestráciu úloh
- Hadoop HDFS na ukladanie veľkých objemov dát
Mám tiež skúsenosti s cloudovými službami AWS, najmä S3 a EMR, pre škálovateľné spracovanie dát.