Data Engineer

Spark-də yeni Job-un yaradılması üçün trigger nədir və Job necə Stages və Tasks-ə bölünür?

Spark SQL-də LEFT SEMI JOIN və LEFT ANTI JOIN nədir, istifadə etdinizmi?

Sizin lakehouse-unuz hansı texnologiyalara əsaslanır və Apache Iceberg ilə işləyərkən hansı problemlər yaranır?

İstifadəçinin qeyri-strukturlaşdırılmış sorğusundan tam vizuallaşdırma panelinə qədər tam dövr təcrübəniz varmı? Belə işi bəyənirsinizmi?

Data Vault-da sorğuları necə optimallaşdırmaq mümkün oldu, çünki adətən qoşulmaların sayını artırır?

Airflow-da XCom istifadə etmisinizmi?

Middle

Aston

OpenMetadata üçün mənbələri skan edən ingestion prosesləri yazdınızmı?

Middle+

Лига Цифровой Экономики

Vəzifə #2 Hər bir şöbədə ən yüksək maaş alan TOP-3 işçini göstərən sorğu yazın. Şöbə adını, işçinin adını və onun maaşını göstərin. employee cədvəli: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | department cədvəli: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Maliyyə | Nəticə: department_name, num, employee_name, salary cte kimi: select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

2024-cü ilin yanvarın 1-i tarixində start_date ilə DAG yaradılarsa nə baş verər?

Middle

Островок

Adi CTE yerinə başqa bir şey düşünmək mümkündürmü, nəzərə alaraq ki, filtrasiya hələ də bütün cədvəldə yaddaşda baş verir?

Terminalda hansı əsas Linux əmrlərindən istifadə edirsiniz?

DBMS-də əməliyyat qeydiyyatı (WAL) nədir və niyə lazımdır?

Spark hansı mühitdə işlədildi?

Ümumiyyətlə, Data Vault-a niyə ehtiyacınız vardı?

Trino kimi mühərriklərlə və ya Spark-də cədvəl formatları (Iceberg, Parquet) ilə işləmə təcrübəniz varmı?

Niyə yeni iş axtarırsan və gələcəkdə nə etmək istəyirsən?

Airflow tapşırıqları arasında məlumatların ötürülməsi üçün hansı üsulları bilirsiniz?

Middle

Островок

Məlumat vitrinası nədir?

Məlumatların birləşdirilməsi hansı sahələrdə baş verdi və vitrinada təkrarlamalar necə aradan qaldırıldı?

LeetCode #? — PostgreSQL-də [cədvəl] adlı cədvəldə tək sütun olan id və 1, 1, 2 dəyərləri var. Bir duplikatı fiziki olaraq siləcək DELETE sorğusu yazın.