Data Engineer
Ինչպես գնահատել կոնֆիգուրացիան՝ մեկ տերաբայթ տվյալների փոխանցման համար PostgreSQL-ից ClickHouse-ին?
Ի՞նչ տեխնոլոգիաներ եք օգտագործել տվյալները Parquet-ում լցնելու համար, և ինչ մեխանիզմներ են օգտագործվել տվյալները ստանալու և լցնելու համար։
МВидеоԱվարտական արդյունքը: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id
ОстровокՄեր մոտ հաճախորդների աղյուսակ կա (id, անուն, հասցե և այլն), ապրանքներ (id, անուն և այլն), ապրանքների շարժում (այստեղ ունենք հաճախորդի id, ապրանք, ամսաթիվ, քանակ, գումար), պետք է գտնենք, թե որ ապրանքները վաճառվել են 1 հունվարի, միայն եզակի, և նաև ցույց տալ գնորդի անունը և...
СБЕРՈր թիմում և որ ղեկավարության տակ եք ամենաշատ հարմարավետ զգում աշխատել?
Պահոցը կառուցվել է Data Vault սխեմայի համաձայն — դու էլ զարգացար, պահպանում էիր? Հավաքածու, հղումներ ձեռքով ավելացնո՞ւմ էիր։
МВидеоԻնչպե՞ս եք հասկանում բանալիների հասկացությունը աղյուսակներում — ինչու է դա անհրաժեշտ?
Որ աշխատանքային ձևաչափը ձեզ հարմար է՝ հեռավոր, հիբրիդ կամ գրասենյակում?
Կարող էք տեսնել աղյուսակի սխեման՝ նախքան Hive-ում հարցումը կատարել?
AstonԻնչպե՞ս եք տեսնում ձեր զարգացումը նոր թիմում և ինչպիսի՞ խնդիրներ եք ուզում առավել շատ զբաղվել:
Ի՞նչ նպատակով են օգտագործվում դեկորատորները Apache Airflow-ում:
Ի՞նչ է RDD-ը Apache Spark-ում և ինչպե՞ս է այն տարբերվում մյուս Spark-ի ամփոփումներից։
Greenplum-ում ինչպիսիք են բանալիների/տարածման ռազմավարությունների տեսակները:
Դուք ունե՞ք Spark առաջադրանքների օպտիմալացման փորձ: Կարող եք տալ կոնկրետ օրինակ:
AstonԻ՞նչ էր քո դերը 4 հոգանոց թիմում և ինչպես տեսնում ես քո կարիերան 3-4 տարվա ընթացքում, ինչ նպատակներ ես դնում։
МВидеоՆա PostgreSQL-ում, տողային տարբերակի գլխում ընդգրկված է xmax պարամետրը: Ի՞նչ դեր է նա խաղում գործարքների կառավարումում: - Տողը եզակի նույնականացուցիչ ստեղծելու համար աղյուսակում - Տողը այլ գործարքների կողմից տեսանելիության ստուգելու համար - Տողը ջնջած կամ թարմացնող գործարքի համար նշելու համար - Տողը միաժամանակյա փոփոխություններից պաշտպանելու համար մի քանի գործարքների կողմից - Մաքսիմալ արժեքը ցույց տալու համար, որը կարող է գրանցվել թվային սյունակում
Ինչպե՞ս ստեղծել Airflow-ում միաժամանակ շատ նույնական առաջադրանքներ (օրինակ՝ բեռնել շատ նույնական ֆայլեր):
Ինչ է VACUUM-ը PostgreSQL-ում: Ինչ տեսակներ կան: Կարող է օգտագործվել արտադրությունում?
Դու աշխատե՞լ ես պատուհանի ֆունկցիաների հետ: Ի՞նչ տեսակի պատուհանի ֆունկցիաներ գիտես։
AstonԻ՞նչ տիպի տիպավորում է օգտագործվում Python-ում՝ ստատիկ կամ դինամիկ։
МТС