Parquet файлы құрылымындағы Row Group не үшін жауап береді?
Data Engineer
Spark-те жаңа Job-ты құруға не әсер етеді, және ол қалай Stage-тарға және Tasks-тарға бөлінеді?
Партицирование деген не? Шардтау деген не? Репликация деген не?
Ішкі цикл қосылу қалай жұмыс істейді және оның алгоритмдік күрделілігі қандай? Басқа үш алгоритмнің күрделілігі қандай?
Кесте 'clients' (client_id, толық аты, басталу күні, аяқталу күні) және 'transactions' (transaction_id, client_id, күн, сома) берілген. 2025 жылдың 1 мамырында әр клиенттің транзакция сомасын есептейтін SQL сұрауын жазыңыз және client_id, толық аты және соманы шығарыңыз.
Spark архитектурасының жоғары деңгейлі құрылымын сипаттаңыз: қандай компоненттер бар және олар SQL сұрауын орындау кезінде қалай өзара әрекеттеседі?
## мод туралы тапсырма # Санамалар тізімі берілген. Бұл тізімнің модын табатын функция жазыңыз. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
-- t1 -- сан --------- -- 1 -- 2 2 null null 4 -- t2 -- сан --------- -- [телефон] null null 5 ТАҢДАУ a.num AS a_num, b.num AS b_num FROM t1 a LEFT JOIN t2 b ON a.num = b.num;
find_mode функциясы [1, 2, 3, 3, 4, 5] тізімі үшін не қайтарады? Қадам-қадам түсіндір.
Parquet сақтау форматы мен CSV арасындағы айырмашылық неде?
Қай жерде жүйелік аналитик ретінде жұмыс істегеніңізді және қандай тапсырмаларды орындағаныңызды айтыңыз?
Партиялау мен шардтау арасындағы айырмашылық неде?
Деректердің сапасын тексеруді өзіңіз жүргізесіз бе, әлде талаптар бизнес/тапсырыс берушілерден келеді ме?
Әр клиент үшін соңғы толық атын қалай шығару керек, егер тек start_date белгілі болса (end_date белгісіз)?
Деректер тарихын сақтау әдістері (түрлері) туралы не білесіз? Тарих кестелерде қалай жиналады?
Терезе функциясының шекарасында UNBOUNDED PRECEDING дегеніміз не?
Жұмыс форматы бойынша қайсысы ыңғайлы — офисте, гибридте немесе қашықтан? Бізде екі кеңсе бар: Кутузовскийде және Тулада.
Spark-те қандай физикалық JOIN түрлері бар?
Greenplum-те тарату өрісін қалай дұрыс анықтау керек? Motion кезінде не болады?
Транзакциялар кестесі мен күнтізбе кестесін қосқанда қай физикалық механизм JOIN қолданылатын болады (бұл шарт бойынша: күн <= күн)?