Greenplumта ACID сакталабы?
Data Engineer
ClickHouse-деги жазууларды өчүргөндө же өзгөрткөндө кандай процесстер башталат?
Data Vault ыңгайлуу курал, бирок объекттер көп. Хабдар, линктер жана сателлиттердин айырмасын түшүндүрө аласызбы?
Rust тилинде жазылган, көп жиптүү жана өтө тез иштеген, Pandas ордуна колдонулушу мүмкүн болгон китепкана барбы?
CTE менен кичирээк суроо ортосунда кандай айырма бар?
Суроолорду этаптарга кантип бөлөбүз? Ага эмне кылуу керек?
Parquetке маалыматтарды жүктөө үчүн кайсы технологияларды колдондуңуз жана маалыматтарды алуу жана жүктөө үчүн кайсы механизмдер колдонулду?
Sparkтен S3гө Parquet форматында маалыматтарды жүктөдүңүзбү, андан кийин Parquetтен Greenplumка — жүктөө процесси кандай өтөт?
Чыгыш таблицадан алынган маалыматтар кантип максаттык таблицаларга жүктөлдү?
Airflow DAG жана жумуштарды кантип жаздың — кол мененби же үлгүлөр мененби?
Git менен иштедиңби? Gitте эмне сактайсың?
Стриминг менен Iceberg иштеп жатты, угуп калдыңбы? Бул файл сактоочу таштанды.
Жумуштардын, DAGтардын ортосундагы көзкараштар менен — сенсорлорду колдонуп, алардын бири экинчисинин артынан ишке киришүүсүн камсыз кылдыңызбы?
Көпчүлүк учурда сиз кандайча маалыматтар базасынын схемасын түзөчүсүз — түз эле базада кол менен жасайсызбы, же скрипттерди бир жакка сактайсызбы, же Liquibase колдонуп жатасызбы, процесси кандай болчу?
Бул реал убакыт, аны Kafka жана ClickHouse Spark ортосунда кантип ишке ашыруу керек?
Эгер CTE бир жолу гана суроодо колдонулса, анын мааниси барбы?
Биз JSON-ду талдайбыз — ким JSON-ду талдайт? Менин билүүмчө, ClickHouseта функциялар жок.
Spark менен түздөн-түз иштешиңиз керекпи? Анын кемчилиги эмнеде?
Iceberg — бул S3'тү маалымат базасына айландырууга мүмкүндүк берген кыймылдаткыч, ал even ACIDти сактайт. Анын кемчилиги эмнеде?
Бизге pipeline мотору керек — механизм, ал аркылуу келишимдер жана параметрлерди киргизүү аркылуу өтө тез агымдарды түзүүгө болот. Муну жогорку деңгээлде кантип ишке ашырмаксың?