Data Engineer

Әрбір жол үшін жалақы кестесінде қызметкердің аты, күні, жалақыны шығарыңыз және терезе функциясын пайдалана отырып, "бөлім бойынша орташа жалақы осы күні" бағанын қосыңыз.

Транзакция оқшаулау деңгейлері деген ұғым бар. Бұл туралы не білесіз?

Терезе функциясы ішіндегі сұрыптау мен сұраудағы соңғы ORDER BY сұрыптауы қалай байланысты?

print(len(' '.join(map(str, [0, 1]))))

Кіріс деректер көлемін өзгерткен кезде жадты шамадан тыс пайдалануын болдырмау үшін Spark қолданбасының ресурстарын қалай басқаруға болады?

Бөліну және шифрлау (тарату) деген не?

Мёртвая кортежа" (dead tuple) дегеніміз не?

dict1 = { (1, 2), [3, 4, 5] : 0 } var = 1, 2

Middle

МТС

Тапсырма #2 Әр бөлім бойынша ең жоғары 3 қызметкердің жалақысын шығарыңыз. Бөлім атауы, қызметкердің аты және жалақыны көрсетіңіз. қызметкерлер кестесі: | id | аты | жалақы | бөлім_id | |----|-------|--------|---------| | 10 | Джон | 1000 | 2 | | 20 | Том | 5000 | 3 | | 30 | Билл | 3000 | 2 | бөлім кестесі: | id | атауы | |----|-----------| | 1 | Маркетинг | | 2 | IT | | 3 | Қаржы | Шығу: бөлім атауы, нөмір, қызметкердің аты, жалақы CTE қолдану арқылы: select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Компанияда соңғы 2,5 жылда орындалған қызықты тапсырма туралы айтыңыз, мысалы ClickHouse-қа байланысты.

Қай кезде жасанды интеллектіні пайдаланып, күнделікті процестерді автоматтандырдыңыз?

Деректер сапасы үшін дайын қозғалтқышты емес, Python/Airflow-те арналған жеке сценарийлерді неге таңдадыңыз?

Өз сөзіңмен, FULL JOIN деген не?

Middle

СБЕР

CROSS JOIN деген не және оның нәтижесі қандай?

Пайдаланушы бойынша ағымдағы және алдыңғы екі күннің тапсырыс сомасының жылжымалы орташа мәнін қалай қосуға болады?

1 000 және 1 000 000 жолдары бар кестелер үшін hash join қалай жұмыс істейді?

Репликацияны орнату тапсырмасы туралы айтыңыз.

Spark-те UDF-тердің кемшіліктері қандай және олардың кемшілігі неде?

Middle

Островок

Kafka-ның негізгі ұғымдары туралы айтыңыз (тұтынушы тобы, бөлімдер, тақырыптар).

ClickHouse-тың 'Too many parts' қатесімен енгізу кезінде кездестіңіз бе? Оны қалай шештіңіз?