Data Engineer
Ի՞նչ տվյալների բաշխման ռազմավարություններ կան։
1. Siparişler: - order_date datetime NULL değil - user_id int NULL değil - order_id int NULL değil 2. Ürünler: - order_id int NULL değil - model int NULL değil - cat_1 varchar(50) NULL değil - price int NULL değil - quantity int NULL değil cat_1 değerleri: - Giyim - Ayakkabı - Kozmetik - Ev eşyaları - Oyuncaklar 2021 yılında "Giyim" kategorisinde ve 2022 yılında "Ayakkabı" kategorisinde olan siparişlerin ve "gerekli kategori ürünlerinin" sayısını gösterin (son hali: 2 satır. Alanlar: yıl, ürün sayısı, sipariş sayısı) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where g.cat_1 = 'Giyim' and Year(o.order_date) = 2021 or g.cat_1 = 'Ayakkabı' and Year(o.order_date) = 2022 group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte
Ի՞նչ լրացուցիչ Data Vault միավորներ են օգտագործվել՝ օրինակ, same-as links կամ transactional links:
Лига Цифровой ЭкономикиԻ՞նչ տեխնիկական դաշտեր են օգտագործվել satellites, links և hubs Data Vault-ում։
Лига Цифровой ЭкономикиԿարո՞ղ է Greenplum-ում օգտագործել պատահական բաշխում և երբ դա տեղին է։
Лига Цифровой ЭкономикиՀարց #1 Ի՞նչ քանակի գրառումներ կվերադարձնի հարցումը inner, left, right, full join-ով երկու աղյուսակների միացման ժամանակ, ըստ id ատրիբուտի t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:
ОстровокԿա՞ք S3-ում պահել եք աղյուսակային տեսլականների արդյունքները՝ Parquet կամ այլ կերպ։
Лига Цифровой ЭкономикиԻնչու եք նոր աշխատանք փնտրում?
Ի՞նչ է պատասխանատու Սյունակային խմբի համար Parquet ֆայլի կառուցվածքում։
Ինչու՞ հիմա նոր առաջարկներ դիտարկում ես:
Ի՞նչ չափով եք աշխատել Spark-ով և որքան խորությամբ եք ներգրավվել դրանում։
Գրեք SQL՝ ավելացնելու համար պատվերի գումարի կուտակային գումարը օգտագործող և ամսաթվի հիման վրա։
Ինչպե՞ս եք լուծել օպտիմիզացիայի խնդիրները, երբ հարցումը երկար է տևում և իրականացնում է լրիվ սկան: Ինչպե՞ս մոտենաք նման նոր խնդիրներին։
def extract_from_s3(**kwargs): df = pd.read_csv("s3://my-bucket/data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d"))) kwargs["ti"].xcom_push(key="df", value=df.to_dict()) def load_to_raw_table(**kwargs): df = pd.DataFrame(kwargs["ti"].xcom_pull(task_ids="extract", key="df")) rows = [tuple(r) for r in df[["transaction_id", "user_id", "amount", "created_at"]].to_numpy()] CLICKHOUSE_CLIENT.execute( "INSERT INTO raw.transactions (transaction_id, user_id, amount, created_at) VALUES", rows ) def build_aggregate_view(): query = """ INSERT INTO datamarts.daily_revenue_per_country SELECT toDate(r.created_at) as event_date, u.country, sum(r.amount) as total_revenue FROM raw.transactions r LEFT JOIN core.userMetadata u ON r.user_id = u.UserId WHERE toDate(r.created_at) = '{}' GROUP BY event_date, u.country """.format(datetime.now().strftime("%Y-%m-%d")) CLICKHOUSE_CLIENT.execute(query) transactions_sensor = S3KeySensor( task_id="transactions_sensor", bucket_key="data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d")), bucket_name="my-bucket", aws_conn_id="aws_default", timeout=600, poke_interval=30, mode="poke" ) extract = PythonOperator( task_id="extract", python_callable=extract_from_s3, provide_context=True ) load = PythonOperator( task_id="load", python_callable=load_to_raw_table, provide_context=True ) aggregate = PythonOperator( task_id="aggregate", python_callable=build_aggregate_view ) transactions_sensor >> extract >> load >> aggregate
Ի՞նչ է անում depends_on_past պարամետրը Airflow-ում։
ОстровокԻնչու՞ ձեզ ընդհանուր առմամբ անհրաժեշտ էր Data Vault-ը։
Նշանակվե՞լ է գրանցումների հեշների համեմատության մեթոդը՝ տարբերությունը հաշվարկելու համար աղբյուրի և նպատակային աղյուսակի միջև։
Ի՞նչ կլինի, եթե կիրառեք `s ** 2` ցանկին `s = [1, 2, 3]`։
Ի՞նչ ֆայլի ձևաչափերով եք աշխատել:
Лига Цифровой ЭкономикиԻ՞նչ տեսակի ֆիզիկական JOIN-եր կան Spark-ում։