Data Engineer

Kā jūs rīkotos ar Materialized View ķēdi caur starpposma ReplacingMergeTree tabulu, lai pareizi aizpildītu jau esošos datus pirms jaunas MV palaišanas?

Kā Spark nosaka, ka tabula ir pietiekami 'maza' broadcast join (augšējā robeža)?

Kas tev šobrīd nepatīk tavā darbā?

Kas ir primārā atslēga ClickHouse un kā tā atšķiras no parastajās datu bāzēs izmantotās primārās atslēgas?

Kas ir semantiskā versijācija? Kad palielināt major, minor, patch?

Kādi ir datu kvalitātes riski?

Middle

Островок

Kas ir Catalyst optimizators Spark un kādus konkrētus optimizācijas piemērus tas veic (piemēram, predicate pushdown)?

Kā salīdzināt sākotnējo („dzīvo”) un mērķa tabulu, ja avots pastāvīgi mainās?

Pastāsti vairāk par tīklu: kas tas ir un kāpēc tas ir svarīgi?

Middle

Островок

Kā sekot, kurā DAG izpildē parādījās konkrēta rinda Data Vault?

Middle+

Лига Цифровой Экономики

Pastāsti par savu pieredzi X5: ar ko tu nodarbojies DWH jomā?

Kā dati nonāk uzglabāšanas vietā jūsu pašreizējā darba vietā?

Kāpēc jūs nolēmāt ienākt tirgū un atstāt savu pašreizējo darbu?

Jūs strādājat pie jaunas funkcijas dev zara. Pēkšņi ir nepieciešams ātri pārslēgties uz galveno zaru, lai ātri izlabotu pareizrakstības kļūdu README.md failā. Jums ir dažas nesaglabātas izmaiņas: src/feature.js (nesaglabātas) un styles/main.css (saglabātas). Jūs vēlaties pagaidu saglabāt visas šīs izmaiņas, lai vēlāk varētu atgriezties pie tām dev zarā. Kādu komandu secību jums būtu jāizmanto šim? git stash save "WIP on feature" && git checkout main && [fix] && git checkout dev && git stash pop git stash push -m "WIP on feature" && git checkout main && [fix] && git checkout dev && git stash pop git stash && git checkout main && [fix] && git checkout dev && git stash apply git add . && git stash && git checkout main && [fix] && git checkout dev && git stash drop git commit -m "Temp commit" && git checkout main && [fix] && git checkout dev && git reset HEAD^

Pastāstiet par replikācijas konfigurācijas uzdevumu, kuru jūs risinājāt.

Kas ir Materialized View un kā tas atšķiras no parasta View?

Vai ir jēga izmantot CTE, ja tā tiek izmantota tikai vienu reizi vaicājumā?

Middle

МВидео

Vai tev jau ir darba piedāvājumi?

Middle

МВидео

Kāda ir UDF Spark un kāds ir to mīnuss?

Middle

Островок

Aprakstiet logu funkcijas pēc iespējas plašākā formā: kādas galvenās vārdu kombinācijas tiek izmantotas un kam katra no tām ir paredzēta.