Көптөгөн REST API-лерден масштабдуу маалымат жүктөөнү кандайча долбоорлоочу: маалыматтарды алуу менен S3-ке чейин, аналитик үчүн интерфейс менен?
Data Engineer
Процедуралык SQL деген эмне?
Өзүңүз жана маалымат инженериясындагы тажрыйбаңыз жөнүндө айтып бериңиз.
101 объект бар: 100 нөл жана 1 бир. Бағалар боюнча сортталганнан кийин, биринчи 50 нөл, андан кийин бир, жана дагы 50 нөл келет. ROC AUC жана ROC графигинин формасы кандай?
Индекстердин орун алган жеринен тышкары кандай кемчиликтери бар?
Градиент бустингте, алда N негизги алгоритмдин композициясы курулган. Жаңы, N+1-чи алгоритм үчүн максат эмне болот?
Неге салғырт баа берүү пайдалıdır?
Sparkтеги data spill эмне жана ресурстарды оңой кошо албаса, аны кантип алдын алса болот?
Жогорку жүктөмдүү маалыматтарды түрлөндүрүүдө кандай иштесеңиз болот?
Spark-тин ишке киргизүү режимдери кандайча айырмаланат: cluster, client жана local?
API жүктөгүчін арнайы Airflow операторы/hook ретінде жүзеге асырудың артықшылықтары мен кемшіліктері қандай, бөлек кітапхана немесе контейнер қызметімен салыстырғанда?
2. Мижозлар транзакцияларынын күндөлүк жыйындысын көрсөтүүчү t деген таблица бар: - Ар бир сап үчүн кардардын учурдагы жана алдыңкы күндөгү транзакцияларын көрсөтүүчү суроо жазгыла Акыркы таблица төмөндө:
Тамақтану бағалаулары эмне жана аларды кантип түшүнүү керек?
Airflow-де кандай типтүү тапшырмаларды чечтіңиз?
Дата, буйрутма номуру, сумма select date, sum(amount) as sum_amount from t group by date having sum(amount) > 1000000 order by sum_amount desc limit 3
Жұлдыз моделдері мен Data Vault деген не?
Өзүңүз жөнүндө айтып бериңиз: акыркы иштеген жериңиз кайда, эмне кылдыңыз, эмне издөөдөсүз жана эмнеге?
Cluster режиминде Driver жана Executors кайда жайгашкан жана эмне үчүн өндүрүштө колдонулат?
Градиент бустинг алгоритминде, негизги алгоритм жөнөкөй чечим дарагы болсо, градиент кайда пайда болот?
Greenplum жана Hadoop HDFS кайсы компоненттерден турат?