Data Engineer
Որտե՞ղ կարող եք դիտել Airflow-ում առաջադրանքների գրառումները։
Երկու աղյուսակներ t1 և t2 են տրված: Առաջադրանքը այն է, որ դուք նշեք բոլոր join տեսակները, որոնք գիտեք, և հարցման արդյունքը select * from t1 <join> t2 on t1.t = t2.t յուրաքանչյուրի համար: |t1.t| ------ 1 2 4 null ------ |t2.t| ------ 1 3 null null
КуперՈրտե՞ղ է տվյալների սեղմումը ավելի լավ աշխատում՝ սյունակային կամ տողային պահեստում, և ինչու՞։
ԸՆՏՐԵՔ * Տախտակ1-ից որպես t1 Ձախ միացում տախտակ2 որպես t2 ON t1.date_start > t2.date_start d = { True: 42, 1: 2, 1.0: 100500 } print(d)
SELECT * FROM table1 AS t1 LEFT JOIN table2 AS t2 ON t1.date_start > t2.date_start
Ֆիթնես ակումբների այցելությունների վերլուծություն Դուք աշխատում եք ֆիթնես ակումբների ցանցում որպես վերլուծաբան: Ձեր ձեռքին է օգտվողների այցելությունների և նրանց գնել տված անդամագրությունների մասին տեղեկատվություն: Պետք է վերլուծել անդամագրությունների արդյունավետությունը: Ամեն մի անդամագրության տեսակ համար հաշվեք՝ • այն օգտվողների ընդհանուր թիվը, ովքեր օգտագործել են այդ տեսակ անդամագրությունը: հաշվի առեք միայն եզակի user_id-ները; • այդ անդամագրությամբ կատարված ընդհանուր այցելությունների թիվը: հաշվի առեք բոլոր այցելությունները այդ անդամագրությամբ օգտվողների; • այդ անդամագրության օգտվողների բաժինը ընդհանուր օգտվողների թվից տոկոսային հարաբերությամբ (մոտեցված մինչև մեկ տասնորդական): Հաշվարկի համար օգտագործեք այդ անդամագրությամբ օգտվողների թիվը ընդհանուր եզակի օգտվողների թվին հարաբերությամբ: Յուրաքանչյուր օգտվող կարող է ունենալ միայն մեկ անդամագրություն: Արդյունքը դասավորեք անդամագրության տեսակով՝ այբբենական կարգով: Մուտքային տվյալների ձևաչափ Անդամագրությունների աղյուսակ՝ • membership_id (int) — անդամագրության եզակի նույնականացուցիչ • user_id (int) — օգտվողի եզակի նույնականացուցիչ • membership_type (text) — անդամագրության տեսակ Այլ տվյալներ բացակայում են կամ սխալ արժեքներ չեն պարունակում: Ելքային ձևաչափ Հարցը պետք է վերադարձնի աղյուսակ՝ դաշտերով՝ • membership_type (text) — անդամագրության տեսակ • users_count (int) — այդ տեսակ անդամագրություն ունեցող եզակի օգտվողների թիվ • total_visits (int) — այդ անդամագրությամբ օգտվողների ընդհանուր այցելությունների թիվ • user_share (numeric) — օգտվողների բաժինը տոկոսային հարաբերությամբ՝ այդ անդամագրությամբ ընդհանուր օգտվողների թվին հարաբերությամբ (մոտեցված մինչև մեկ տասնորդական): Արդյունքը դասավորեք անդամագրության տեսակով՝ այբբենական կարգով։
Կպատմիր, ինչ ես գիտակցում տվյալների սյունակային և տողային պահպանումների մասին: Երբ և որին պետք է ընտրել և ինչու?
Որտե՞ղ է Airflow-ում հայտնվում համաժամանակեցումը։
Իմացեք ձեր աշխատանքային փորձի մասին՝ առաջադրանքներ, տեխնոլոգիական շերտ
Ինչպես մոտենալ իրավիճակին, երբ բիզնեսը խնդրում է տվյալների վիզուալիզացիայով նոր արշավի մասին հաշվետվություն?
Ինչպես է Pandas-ը մշակել բացթողած տվյալները?
Threading, multiprocessing, asyncio: տարբերությունը և երբ ավելի լավ է ինչ օգտագործել?
Ինչպես աշխատեցիք Impala-ով?
AstonՈր հատկանիշներից սկսած կարելի է ասել, որ տվյալների պահեստը անհրաժեշտ է?
Դուք երբևէ աշխատե՞լ եք հարցումների օպտիմալացման հետ: Օպտիմալացումը որտեղից է սկսվում?
МВидеоԻնչպես է աշխատում ClickHouse-ը և ինչո՞վ է տարբերվում PostgreSQL-ից։
Ի՞նչ է նորմալիզացիան: Որ ձևով ենք հիմնականում աշխատում?
СБЕРՊատմիր քո աշխատանքային փորձի մասին վերջին տեղերում, ինչ նախագծեր, ինչ տեխնոլոգիական շերտ?
СБЕРՀամեմատեք Data Vault մոտեցումները ՄЧՍ-ում և X5-ում: Ի՞նչ օգուտներ տվեցին նոր օբյեկտները (գոտի, pit աղյուսակներ):
Նկարագրեք SQL հարցումների օպտիմիզացման մեթոդները, որոնք կիրառել եք։ Ինչպե՞ս կրճատեցիք կատարման ժամանակը 12-15 վայրկյանից։
Купер