Data Engineer

Rääkige meile Pythonis viimase aasta jooksul kõige olulisemast projektist või ülesandest.

Milline on diagnostika algoritm ja mida teha, kui päring on endiselt aeglane pärast mitme indeksi lisamist?

Kas on olemas mõiste — tehingute isolatsiooni tasemed? Mida sa sellest tead?

Kui executoril on 10 tuuma, kui palju ülesandeid täidetakse paralleelselt ühel hetkel?

Kas kunagi pidanud koostama aruandeid, juhtpaneeleid, visualiseerimisi (BI)?

Ülesanne #2 Kirjutage päring, mis näitab iga osakonna TOP-3 töötajat nende palga järgi. Näidake osakonna nime, töötaja nime ja tema palka. employee tabel: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | deparment tabel: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Finance | Izlase: department_name, num, employee_name, salary ar cte kā( select d.name as department_name, e.name as employee_name, e.salary, dense_rank no employee e join department d on e.id = d.id

Middle

Островок

importi clickhouse_driver from airflow.hooks.base import * def get_clickhouse_client(): conn = BaseHook.get_connection("clickhouse_default") return clickhouse_driver.Client( host=conn.host, port=conn.port, user=conn.login, password=conn.password, database=conn.schema )

Miks valiti Data Quality jaoks kohandatud skriptid Python/Airflow asemel valmis mootor, näiteks Great Expectations?

Millist raamistikku kasutasite toruju kirjutamiseks? Kuidas kasutasite Airflow'd?

Middle

Aston

Tehniliselt on andmebaas andmehalduse süsteemis (DBMS) lihtsalt fail, kust tulenevad piirangud nagu NULL/NON NULL? Milleks need loogilised abstraktsioonid on vajalikud?

Millises keskkonnas käivitatakse Spark?

Mis juhtub, kui rakendate `s ** 2` nimekirjale `s = [1, 2, 3]`?

Mis on UDF Sparkis ja mis on nende miinus?

Middle

Островок

Rääkige Kafka põhikontseptsioonidest (tarbijarühm, jaotised, teemad).

Rääkige Pythonis muudetavatest ja muutumatutest andmetüüpidest ning andke näiteid.

Middle

Островок

Kas Greenplumis saab kasutada juhuslikku jaotust ja millal see on sobiv?

Middle+

Лига Цифровой Экономики

Kas oled töötanud partii- või voogedastusega?

Middle

Aston

Miks ei saa nimekirja kasutada sõnastiku võtmena?

Middle

МТС

Iga rea salary tabeli rida näidake töötaja nime, kuupäeva, palka ja kasutades akna funktsiooni lisage veerg "keskmine palk osakonna kaupa sellel kuupäeval".

Kuidas on seotud akna funktsiooni sees olev sortimine ja päringus lõplik ORDER BY sortimine?