Data Engineer

Әр клиент үшін соңғы толық атын қалай шығару керек, егер тек start_date белгілі болса (end_date белгісіз)?

Middle

СБЕР

[аты] сұрады: Деректердің кластердің барлық түйіндерінде өзекті болуын қамтамасыз ету үшін кесте қозғалтқышына не қосу керек?

Сіз реляциялық дерекқорлармен жұмыс жасадыңыз ба?

Oracle-да партиционирование туралы айтыңыз: ол не үшін қолданылады және қандай түрлері бар?

Middle

Aston

[аты] сұрады: 'ұшулар табылды ма' өрісінде тек екі мән бар (иә/жоқ). Бұл өрісті ClickHouse-те қалай жақсы көрсетуге болады? Bool үшін қандай деректер түрі қолданылады?

Жобаларыңыздың құжаттамасын қалай жасайсыз? README жазасыз ба немесе басқа нәрсе?

Kafka-мен жұмыс істеуде қиындық жоқ, негізгісі — деректерді өңдеу — қандай нюанстарды ескеру керек?

Middle

МВидео

PostgreSQL-да қай жағдайларда B-tree және hash индекстерін қолдану керек?

Сұрау жоспары дегеніміз не? Оларды не үшін пайдаланады?

CREATE TABLE core.localUserMetadata ON CLUSTER cluster_4x2 ( UserId String, Country String, LastLoginDate DateTime ) ENGINE = ReplicatedReplacingMergeTree() ORDER BY (UserId); CREATE TABLE core.userMetadata ON CLUSTER cluster_4x2 ( UserId String, Country String, LastLoginDate Datetime ) ENGINE = Distributed('cluster_4x2', 'core', 'localUserMetadata', cityHash64(LastLoginDate));

Airflow-да XCom-ды пайдалану ерекшеліктері қандай?

Деректер қоймасы Data Vault схемасы бойынша салынған ба — оны да дамыту және қолдау жасадыңыз ба? Хабтар мен сілтемелерді қолмен қосқан ба?

Middle

МВидео

PostgreSQL-да транзакцияның өнімділігін оңтайландыру үшін қандай минималды оқшаулау деңгейін орнату керек, онда: • параллель транзакциялар бір-бірінің аяқталмаған өзгерістерін көре алады; • "лақтыру оқылымдары" мүмкін. Осы мақсатқа жету үшін қандай оқшаулау деңгейін көрсету керек? PostgreSQL-да лас оқылым мүмкін емес Repeatable read Read uncommitted Read committed Serializable

Портал арқылы файлдар немесе деректер алу үшін FTP-пен жұмыс жасадыңыз ба?

Middle+

Лига Цифровой Экономики

PostgreSQL-де қандай индекстерді білесіз?

Партицирование деген не? Шардтау деген не? Репликация деген не?

Middle+

СБЕР

Spark-пен тікелей жұмыс істедіңіз бе? Оның кемшілігі неде?

Middle

МВидео

Notifications кестесінде status өрісі бар, оның мәндері: 'sent', 'delivered', 'read'. Қай сұрау дұрыс? select * from notifications where status like '%sent%' order by created_at desc limit 5 select * from notifications where status = 'read' order by created_at desc limit 5 select * from notifications order by status desc limit 5 select * from notifications where status not in ('sent', 'delivered') order by created_at asc limit 5 select * from notifications where status in ('sent', 'delivered') order by created_at desc limit 5

Деректер қазір қалай өңделеді? Егер олар әртүрлі форматта болса, олар қалай нормалданады және бір формаға келтіріледі?

Бөлімшедегі feature бірнеше сәтсіздікке ұшыраған config.yaml файлы бар бірнеше коммиттерді қамтиды, ол кейін түзетілді. Нәтижесінде команда құпия параметрлерді ашып көрсетуін болдырмау үшін файлдың барлық өзгерістерін тарихтан толық жоюды шешті. Бөлімшенің бастапқы күйі (git log --oneline шығуы): 1 a4b5c67 (HEAD -> feature) Қызмет логикасын қайта құру 2 d9f0a11 config.yaml қателігін түзету 3 7c1d3f2 Уақытша config.yaml қосу 4 e3a98cd Бастапқы коммит 5 Тарихты қайта жазғаннан кейін, config.yaml файлын жою үшін, git log --oneline шығуы келесідей болды: 6 b9e7d42 (HEAD -> feature) Қызмет логикасын қайта құру 7 41f3b60 Бастапқы коммит Команда қандай операцияны орындады? - git revert командасын config.yaml коммитіне орындады - git filter-branch --index-filter "git rm --cached config.yaml" -- --all командасын орындады - git rebase -i командасын орындап, файлға өзгерістер енгізген коммиттерді жойды - git commit --amend және git push --force командаларын орындады - git cherry-pick командасын пайдаланып, config.yaml жоқ жаңа бұтақ жасады