Ի՞նչ է Spark-ում նոր Job ստեղծելու թրիգերը և ինչպես է Job-ը բաժանվում Stages և Tasks-ների:
Data Engineer
Ինչ է LEFT SEMI JOIN և LEFT ANTI JOIN Spark SQL-ում, արդյոք երբևէ օգտագործե՞լ եք։
Ի՞նչ է բաժանումը: Ի՞նչ է շարդինգը: Ի՞նչ է ռեպլիկացիան:
Ինչպես է աշխատում Nested Loop Join-ը և ինչ է նրա ալգորիթմական բարդությունը: Ինչ է բոլոր երեք ալգորիթմների բարդությունը?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
Ընդհանուր առմամբ բացատրեք, թե ինչպես է կառուցված Spark-ի ճարտարապետությունը՝ ինչ բաղադրիչներ կան և ինչպես են նրանք փոխազդում SQL հարցում կատարելու ժամանակ։
## մոդայի խնդիր # Անդամների ցանկ կա։ Գրեք ֆունկցիա, որը գտնում է այդ ցանկի մոդան։ # find_mode([1, 2, 3, 3, 4, 5]) #> 3
Ի՞նչ կվերադարձնի find_mode ֆունկցիան [1, 2, 3, 3, 4, 5] ցուցակի համար: Պատմիր քայլ առ քայլ։
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [հեռախոս] null null 5 Ընտրել a.num Որպես a_num, b.num Որպես b_num T1-ից a Ձախ JOIN t2 b վրա a.num = b.num;
Ի՞նչն է տարբերությունը պարստացման և շարդավորման միջև։
Ի՞նչ է տարբերությունը Parquet պահեստավորման ձևաչափի և CSV-ի միջև։
Կպատմեք, որտեղ եք աշխատել համակարգային վերլուծաբանի դերում և ինչ խնդիրներ եք կատարել։
Ինչպե՞ս ցույց տալ յուրաքանչյուր հաճախորդի վերջին լրիվ անունը, եթե միայն սկսման ամսաթիվը հայտնի է (ավարտի ամսաթիվը հայտնի չէ):
Դուք ինքն եք կատարել տվյալների որակի ստուգումները, թե պահանջները եկել էին բիզնեսից/հաճախորդներից?
Ի՞նչ մեթոդներ (տիպեր) գիտեք տվյալների պատմության պահպանումը: Ինչպես է հավաքվում պատմությունը աղյուսակներում?
Ի՞նչ է նշանակում UNBOUNDED PRECEDING տանիքի սահմաններում։
Ինչպե՞ս ճիշտ որոշել բաժանման դաշտը Greenplum-ում: Ի՞նչ է տեղի ունենում Motion-ի ժամանակ։
Որ աշխատանքային ձևաչափը ձեզ համար ավելի հարմար է — գրասենյակ, հիբրիդ կամ հեռավար? Մեր մոտ երկու գրասենյակ կա, Կուտուզովսկիում և Թուլայում։
Ի՞նչ տեսակի ֆիզիկական JOIN-եր կան Spark-ում։
Դու երբևէ աշխատե՞լ ես Spark-ում AQE (Ադապտիվ Քուերի Էքսեկյուշն) օպտիմիզատորով: Դու գիտե՞ս, թե ինչպես է այն աշխատում: