Data Engineer
Da li koristite veštačku inteligenciju u trenutnom radu? Koje alate i kako tačno?
Šta se fizički dešava prilikom INSERT, UPDATE i DELETE u Greenplum; zašto se nakon DELETE mesta na disku ne oslobađa i čime se DELETE razlikuje od TRUNCATE?
Kako pokrenuti drugi DAG u Airflow odmah nakon uspešnog završetka prvog?
Za koje zadatke ClickHouse nije pogodan i šta biste izabrali umesto njega?
git submodule update --init
Da li plan izvršenja iz EXPLAIN uvek odgovara onome što se zaista izvršava?
Zašto smo koristili Parquet umesto ORC?
Da li ste radili sa menadžerima konteksta u Pythonu? Šta su i čemu služe?
# šta ispisuje s = 'Abracadabra' print(s[5][0][0]) b = 'a' print(b[0][0]) print(s[::-2]) #Arcd s = [1, 2, 3] print(s ** 2) def foo(*args, **kwargs): print(args) print(kwargs)
Šta će se dogoditi ako kreirate DAG sa start_date = 1. januar 2024.?
Чиме се разликује мултипоточност од мултипроцесинга? За које задатке користити потоке, а за које процесе?
Da li ste izgradili lanac od izvora do potrošača?
Zašto tražiš novo radno mesto i čime bi voleo da se baviš u budućnosti?
Postoje li još mehanizmi za upravljanje shuffle-om osim coalesce/repartition?
CREATE TABLE datamarts.daily_revenue_per_country ON CLUSTER cluster_4x2 ( event_date Date, country String, total_revenue Float64 ) ENGINE = MergeTree() PARTITION BY toYYYYMM(event_date) ORDER BY (event_date);
1. Наредбе: - order_date datetime НЕ NULL - user_id int НЕ NULL - order_id int НЕ NULL 2. Производи: - order_id int НЕ NULL - model int НЕ NULL - cat_1 varchar(50) НЕ NULL - price int НЕ NULL - quantity int НЕ NULL Вредности у cat_1: - Одећа - Обућа - Козметика - Производи за домаћинство - Играчке Прикажи број наредби и "број потребних производа у категорији у наредби" за 2021. у категоријама "Одећа" и за 2022. у категорији "Обућа" (крајњи изглед: 2 реда. Поља: година, број производа, број наредби) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where g.cat_1 = 'Одећа' and Year(o.order_date) = 2021 or g.cat_1 = 'Обућа' and Year(o.order_date) = 2022 group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte
Imate dve povezane tabele: first_table in second_table. Želite izvesti ukaz TRUNCATE TABLE second_table CASCADE;, da odstranite vse vrstice iz second_table in vse odvisne podatke. Kakšne so lahko posledice izvajanja tega ukaza? create table first_table ( id integer primary key ); create table second_table ( id serial primary key, first_table_fk integer references first_table(id) ); - Sekvenca second_table_id_seq bo resetirana na začetno vrednost. - Vsi zapisi iz first_table, povezani prek tuje ključe z second_table, bodo izbrisani. - Obstoječi indeksi za second_table bodo izbrisani in samodejno ponovno ustvarjeni. - Pri kasnejših vstavitvah v second_table lahko privzeta vrednost za id začne z napačno vrednostjo. - Prišlo bo do napake, saj je ukaz CASCADE prepovedan za tabele z zunanjimi ključi.
Ispričajte nam o najznačajnijem projektu ili zadatku u Pythonu u poslednjih godinu dana.
Na našoj web stranici korisnici traže avionske karte. Potrebno je evidentirati događaje pretraživanja u ClickHouse-u kako bi analitičari mogli izračunati popularne destinacije i konverziju u kupovinu. Dizajnirajte tablicu i napišite DDL stream, 5 minuta dnevno, datum, destinacija, jednom dnevno, 2 godine, json Identifikator događaja, vreme, sesija, korisnik (može biti anoniman — bez prijave), aerodrom/grad polaska i dolaska, traženi datum polaska, datum povratka (može biti samo u jednom pravcu), broj putnika, klasa, tip uređaja, da li su pronađeni letovi, minimalna cena među pronađenima, valuta, promo kod (može biti ne postoji).
Šta je tačno privuklo našu ponudu, zašto ste odlučili da se prijavite?