Data Engineer
Ի՞նչ է տարբերությունը repartition և coalesce-ի միջև Spark-ում։
ОстровокԻնչպե՞ս եք բեռնել տվյալները S3-ից Greenplum-ին:
Aston[անունը] խոսեց իր փորձառության մասին տարբեր տվյալների բազաների կառավարման համակարգերով աշխատելու, որքան խորությամբ պետք է մտնել օպտիմիզացիայի և ներքին մանրամասների մեջ։
Ինչ փորձ ունեք SQL և հարաբերական տվյալների բազաների հետ?
Ի՞նչ է Materialized View-ը և ինչպե՞ս է այն տարբերվում սովորական View-ից։
Նա PostgreSQL-ում, տողային տարբերակի գլխում ընդգրկված է xmax պարամետրը: Ի՞նչ դեր է նա խաղում գործարքների կառավարումում: - Տողը եզակի նույնականացուցիչ ստեղծելու համար աղյուսակում - Տողը այլ գործարքների կողմից տեսանելիության ստուգելու համար - Տողը ջնջած կամ թարմացնող գործարքի համար նշելու համար - Տողը միաժամանակյա փոփոխություններից պաշտպանելու համար մի քանի գործարքների կողմից - Մաքսիմալ արժեքը ցույց տալու համար, որը կարող է գրանցվել թվային սյունակում
Ներկայացրեք լենիվ և անմիջական հաշվարկները Spark-ում։
ОстровокԻնչ է LEFT SEMI JOIN և LEFT ANTI JOIN Spark SQL-ում, արդյոք երբևէ օգտագործե՞լ եք։
Կանխատեսում կա՝ տրանզակցիոն անջատման մակարդակներ։ Ինչ գիտեք այդ մասին։
Դու աշխատե՞լ ես պատուհանի ֆունկցիաների հետ: Ի՞նչ տեսակի պատուհանի ֆունկցիաներ գիտես։
AstonԱվարտական արդյունքը: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id
ОстровокԻ՞նչ տիպի տիպավորում է օգտագործվում Python-ում՝ ստատիկ կամ դինամիկ։
МТСԱնվաճարկների վերլուծություն ապրանքային կատեգորիաներով մանրածախ խանութում Դուք աշխատում եք վերլուծաբանի որպես մանրածախ խանութում։ Ձեր խնդիրն է կազմել վաճառքների հաշվետվություն ապրանքային կատեգորիաներով՝ հաշվարկներով՝ • ընդհանուր վաճառված միավորների քանակը կատեգորիայի մեջ (total_units_sold); • ընդհանուր եկամուտը կատեգորիայի համար՝ հաշվի առնելով զեղչերը, որտեղ զեղչը կիրառվում է որպես unit_price × units_sold × (1 − discount/100): Եթե զեղչը բացակայում է (NULL), հաշվի առեք զեղչը որպես 0%։ Ապահովեք երկու տասնորդական նշանով հստակեցում; • միջին վաճառված միավորների քանակը մեկ վաճառքի համար (avg_units_per_sale), հստակեցված երկու տասնորդական նշանով; • զեղչով չվաճառված վաճառքների մասնաբաժինը (no_discount_share) — NULL կամ 0% զեղչով վաճառքների քանակը բաժանված ընդհանուր վաճառքների քանակին կատեգորիայի մեջ, հստակեցված երեք տասնորդական նշանով: Նախ արդյունքը դասավորեք նվազման կարգով total_revenue-ի, ապա աճման կարգով միջին միավորների քանակի (avg_units_per_sale), և վերջում՝ կատեգորիայի անվան ըստ ալֆավիթի: Ներմուծման ձևաչափ Վաճառքների աղյուսակ՝ sales: • sale_id (int) — վաճառքի եզակի նույնականացուցիչ • product_id (int) — ապրանքի նույնականացուցիչ • category (text) — ապրանքի կատեգորիա • sale_date (timestamp) — վաճառքի ամսաթիվ և ժամանակ • units_sold (int) — վաճառված միավորների քանակ • unit_price (numeric) — մեկ միավորի գին • discount (numeric) — ապրանքի զեղչը տոկոսներով, կարող է լինել NULL Զեղչի սյունակը կարող է պարունակել բացթողումներ: Ելքային ձևաչափ Հարցը պետք է վերադարձնի աղյուսակ՝ հետևյալ դաշտերով՝ • category (text) — ապրանքի կատեգորիա • total_units_sold (int) — ընդհանուր վաճառված միավորների քանակը • total_revenue (numeric) — ընդհանուր եկամուտը՝ հաշվի առնելով զեղչերը, հստակեցված երկու տասնորդական նշանով • avg_units_per_sale (numeric) — միջին միավորների քանակը մեկ պատվերի մեջ, հստակեցված երկու տասնորդական նշանով • no_discount_share (numeric) — զեղչով չվաճառված վաճառքների մասնաբաժինը, հստակեցված երեք տասնորդական նշանով Արդյունքը դասավորեք սկզբում՝ նվազման կարգով total_revenue-ի, հետո՝ աճման կարգով միջին միավորների քանակի, և վերջում՝ կատեգորիայի անվան ըստ ալֆավիթի։
Պատմիր X5-ում ունեցած փորձառության մասին՝ ինչ գործեր էիր անում DWH-ի մասով։
Ինչու՞ ձեզ ընդհանուր առմամբ անհրաժեշտ էր Data Vault-ը։
Ինչքան լավ եք ծանոթ Linux/Docker-ին?
Դուք օգտագործե՞լ եք Bridge և PIT սեղանները Data Vault-ում: Տվեք օրինակ և բացատրեք դրանց նպատակահարմարությունը։
Лига Цифровой ЭкономикиԴու երբևէ աշխատե՞լ ես Spark-ում AQE (Ադապտիվ Քուերի Էքսեկյուշն) օպտիմիզատորով: Դու գիտե՞ս, թե ինչպես է այն աշխատում:
Որ աշխատանքային ձևաչափը ձեզ հարմար է՝ հեռավոր, հիբրիդ կամ գրասենյակում?
Ի՞նչ է կարևոր քեզ համար նոր նախագծում, նոր թիմում կամ ընկերությունում։