Son işinizdə hansı məlumat boru kəmərləri və ya proseslərindən istifadə etdiniz?

Son iş tapşırığında aşağıdakı məlumat axınları və proseslərdən istifadə etdim:

• ETL prosesi (Extract, Transform, Load) müxtəlif mənbələrdən məlumatların toplanması, çevrilməsi və məlumat anbarına yüklənməsi üçün.
• Apache Airflow ilə məlumatların emalı boru xətləri — tapşırıqları idarə etmək və ardıcıl emal addımlarını avtomatlaşdırmaq üçün.
• Kafka istifadə edərək xidmətlər arasında məlumat axınlarının real vaxtda ötürülməsi.
• Proseslərin monitorinqi və qeydiyyatı Prometheus və Grafana ilə, boru xətlərin vəziyyətini və performansını izləmək üçün.

Bu yanaşma böyük həcmdə məlumatların etibarlı və miqyaslana bilən şəkildə emalını təmin etdi və minimal gecikmə ilə işləyirdi.