Data Engineer

ClickHouse-те жазбаларды жою немесе өзгерткенде қандай процестер іске қосылады?

Middle

МВидео

Рефакторинг пен оңтайландыру арасындағы айырмашылық неде?

Қашан деректер қоймасы қажет емес?

Kafka тапсырмасы: продюсер бағаның өзгерісін жібереді (200 рубль, содан кейін 300 рубль), тұтынушы 3 подта репликацияланады. Әдепкі конфигурацияда қиындықтар бола ма?

Терезе функцияларымен жұмыс істедіңіз бе? Қандай терезе функцияларын білесіз?

Middle

Aston

Біз метадеректерді енгіземіз, және ол осы метадеректер негізінде ағынды құрады — бұл ескі жүйелерден жоспарланған жүйеге ағымдарды жылдам көшіруге қалай көмектеседі?

Middle

МВидео

Python-да қандай типтеу пайдаланылады — статикалық пе немесе динамикалық па?

Middle

МТС

Қолданушы идентификаторы бойынша шектеу (skew) болған кезде транзакциялар мен қолданушылар кестелерін қосқанда қалай әрекет ету керек? Оптималды бөлу кілтін қалай таңдау керек?

Розница дүкеніндегі тауар санаттары бойынша сатылымды талдау Сіз аналитик ретінде жұмыс істейсіз. Сіздің міндетіңіз — сатылым туралы есепті құру, есептеулермен: • санаттағы жалпы сатылған бірліктер саны; • жеңілдіктерді ескере отырып, жалпы кіріс, мұнда жеңілдік мынадай түрде қолданылады: unit_price × units_sold × (1 − discount/100). Егер жеңілдік жоқ (NULL), оны 0% деп есептеңіз; • бір сатылымдағы орташа бірлік саны, екі ондыққа дейін дөңгелектелген; • жеңілдіксіз сатылымдардың үлесі, NULL немесе 0% жеңілдікпен сатылымдар саны жалпы сатылымдар санына бөлінген, үш ондыққа дейін дөңгелектелген. Нәтижені алдымен total_revenue бойынша төменнен жоғарыға, содан кейін орташа бірлік саны бойынша жоғарыдан төменге, соңында санат атауы бойынша алфавиттік тәртіпте сұрыптаңыз.

Деректер қоймасы Data Vault схемасы бойынша салынған ба — оны да дамыту және қолдау жасадыңыз ба? Хабтар мен сілтемелерді қолмен қосқан ба?

Middle

МВидео

Деректерді тең бөлу үшін дұрыс шардтау кілтін қалай таңдау керек?

Жаңа MV іске қосылмай тұрып, бұрыннан бар деректерді дұрыс толтыру үшін материалданған көрініс тізбегін аралық ReplacingMergeTree кестесі арқылы қалай өңдер едіңіз?

Кестелердегі кілттер ұғымын қалай түсінесіз — ол не үшін керек?

Kafka-дан ClickHouse-қа деректерді нақты уақыттағы есеп беру үшін ағынды түрде қалай жүктеуге болады?

Middle

МВидео

ClickHouse-те негізгі кілт дегеніміз не және ол дәстүрлі дерекқорлардағы негізгі кілттен қалай ерекшеленеді?

docker run және docker exec командаларының айырмашылығы неде?

SQL операторларының қандай топтарын білесіз? Оларға не кіреді?

Middle

СБЕР

Spark-те Catalyst оптимизаторы деген не және ол қандай нақты оңтайландыруларды орындайды (мысалы, predicate pushdown)?

Python-дағы сөздік (dict) бойынша кілт арқылы элементті алу алгоритмдік күрделілігі қандай?

Middle

МТС

Бастапқы ("тірі") және мақсатты кестелерді қалай салыстыруға болады, егер дерек көзі үнемі өзгеріп отырса?